Sentir a parlar de la intel·ligència artificial ja és costum en l'actualitat, no hi ha dia que no apareguin notícies al respecte, desvetllant noves aplicacions i formes d'aprofitar el potencial d'aquesta tecnologia innovadora. No obstant, la setmana del 18 de setembre va posar encara més al centre del debat públic els usos de la IA, especialment la seva utilització per part de menors.

Un grup de nens d'entre 12 i 14 anys van crear falsos nus de les seves companyes de classe mitjançant una plataforma en línia d'IA, i en van fer difusió a les xarxes socials

Un tràgic succés en una localitat de Badajoz va fer visible, un cop més, la part fosca de la IA: un grup de nens d'entre 12 i 14 anys van crear falsos nus de les seves companyes de classe mitjançant una plataforma en línia d'IA amb tecnologia Deepfake, i van fer difusió d'aquestes fotos a les xarxes socials, vulnerant així el dret a la intimitat personal, a l'honor i a la pròpia imatge d'aquestes nenes, dret que protegeix l'art. 18.1 de la Constitució Espanyola. Tanmateix, en ser nus de menors sexualitzades de forma implícita, aquests nens també poden haver comès un delicte de pornografia infantil.

Deepfake (de l'anglès, «ultrafals») és una tecnologia que usa intel·ligència artificial per crear imatges i sons semblants als reals; pot enganyar tant éssers humans com algoritmes, generant vídeos, àudios i imatges falses amb aparença natural i real

Almendralejo, la localitat on viuen i estudien la trentena de nenes afectades per aquest succés, és un poble amb una població de poc més de 30 000 habitants, on gairebé tots es coneixen, fet que suposa per a les nenes una dificultat per sentir-se tothora exposades i observades, un sentiment que provoca que algunes d'elles directament romanguin a casa sense sortir. Les falses imatges generades semblen reals, cosa que encara augmenta més el patiment d'aquestes nenes.

S'estima que 30 000 usuaris utilitzen cada dia l'aplicació per crear falsos nus amb IA

L'aplicació que han utilitzat els joves per aconseguir els falsos nus és ClothOff, una plataforma creada exclusivament per a això; el seu eslògan ho deixa ben clar: Undress girls for free («despulla noies gratis»). El procés és el següent: registrar-se a la plataforma, cosa que t'atorga automàticament dos tokens (una moneda virtual); pujar una foto en la qual aparegui la persona sola (vestida però sense roba d'abric), i finalment adquirir el muntatge del nu a canvi d'un token. Al contrari del que pugui semblar, l'ús de ClothOff és molt comú; de fet, s'estima que 30 000 persones hi entren cada dia, una realitat alarmant si es té en compte el dany que pot arribar a causar.

Aquest cas exposa els riscos de l'ús de la IA per part de menors, i evidencia la necessitat d'una major regulació d'algunes infraccions com la creació i difusió de nus falsos. En aquest sentit, els especialistes comenten que en tractar-se d'imatges de menors la legislació espanyola és clara al respecte: el Codi Penal en el seu art. 189 considera les imatges manipulades amb IA o amb una altra tecnologia com a delicte de pornografia infantil, en fer referència al material visual de menors o altres persones necessitades de protecció «participant en una conducta sexual explícita, real o simulada».

Els menors de 14 anys són inimputables, per la qual cosa no tenen responsabilitat penal

No obstant, alguns dels implicats són menors de 14 anys, la qual cosa significa que no han assolit l'edat de responsabilitat civil, i que per tant són inimputables, és a dir, que no tenen responsabilitat penal segons recull la Llei Orgànica 5/2000 en el seu tercer article. En aquests casos la fiscalia s'encarrega de valorar la situació sociofamiliar del menor, remetent així el cas als serveis socials perquè en puguin fer un seguiment. En estar emparats per la Llei de protecció del menor, el més probable és que es revisi la formació de cada infant per detectar possibles dèficits, i en tot cas hauran de fer un mòdul formatiu d'igualtat de gènere. Això sí, és possible que hi hagi conseqüències per als seus pares, en ser responsables indirectes del fet delictiu. Així, hauran de pagar una indemnització, declarar que han vulnerat els drets de les nenes afectades, i comprometre's al cessament d'aquesta conducta.

La difusió de les imatges en pàgines pornogràfiques és una de les preocupacions expressades per les famílies, ja que algunes d'aquestes pàgines web se'n nodreixen. L'escriptora i periodista Marta Peirano va parlar de «pornografia sintètica» fent referència a aquest tipus de continguts. Això afecta més a les dones, tot i que crear nus falsos d'homes també és possible. Vivim en societats patriarcals, fet que també es reflecteix en el món virtual. Així ho demostren investigacions com la publicada el 2019 per Deeptrace Labs, companyia especialitzada en intel·ligència artificial, i segons la qual al voltant del 96 % de vídeos que empren aquesta tecnologia es basen en imatges de dones que s'utilitzen per crear continguts sexuals sense el seu consentiment.

Estratègies de protecció contra els perills de la xarxa

La democratització de la informació ha comportat un grau elevat de llibertat d'accés a tota mena de continguts i eines, on s'inclou també l'ús d'aplicacions com ClothOff per part de menors, fet preocupant que ens obliga a buscar respostes a alguns interrogants: podem limitar l'ús d'internet per als adolescents? Prohibir l'ús del mòbil als instituts pot reduir el risc d'usos indeguts? Qui pot i ha de controlar l'activitat dels menors a internet? Com conscienciar i educar els adolescents en un ús responsable dels mòbils i d'internet?

Estudis sobre l'ús d'internet per menors com una recent enquesta realitzada a adolescents i famílies per l'OCU (Organització de Consumidors i Usuaris), indiquen que els joves dediquen gairebé 3 hores de la seva jornada diària a navegar per internet, gairebé sempre des del mòbil. Això posa de manifest una hiperconnectivitat permanent per part dels adolescents, que passen massa temps dins l'entorn digital interactuant en xarxes socials, buscant informació, o fins i tot navegant en pàgines web per a adults (14 %).

Prolifera l'ús d'apps de control parental entre les famílies

La preocupació pels perills de la xarxa ha portat les famílies a buscar solucions que ajudin a minimitzar els riscos. Així, una de les tècniques més utilitzades és la instal·lació d'aplicacions de control parental, que tenen com a funció restringir l'ús o la descàrrega d'aplicacions, bloquejar el contingut inapropiat, imposar límits de temps d'ús i, a més, facilitar als pares un informe de l'ús que fa el seu fill del mòbil. Algunes apps fins i tot van més enllà i permeten veure historials de trucades o la localització del menor.

Tanmateix, l'OCU ofereix a les famílies alguns consells per protegir els menors de possibles riscos:

• Aprofita el moment per establir amb el teu fill o filla una relació de confiança i que se senti còmode per alertar algun adult de l'entorn familiar de qualsevol problema que estigui relacionat amb el seu ús.
• Explica-li els possibles riscos que pot trobar en navegar per la xarxa.
• Atorga-li la responsabilitat de l'ús que fa del seu telèfon, acordant amb ell o ella unes normes mínimes.
• Ensenya-li que les dades personals han de romandre privades.
• Ensenya-li a ser respectuós amb els altres. Té l'obligació també de no publicar dades privades dels seus amics i de no faltar al respecte a altres persones que es troben a internet. Darrere de cada perfil digital hi ha una persona real.
• Evita que el teu fill es trobi a internet amb contingut inapropiat i ajuda-li a trobar contingut de qualitat.

Si bé la seguretat digital d'un menor pot augmentar amb una correcta gestió de la navegació per internet i la seva supervisió per part dels pares, encara hi pot haver perills a l'aguait, especialment si accedeix a la xarxa des d'altres dispositius difícils de controlar. Davant d'aquesta disjuntiva, una de les qüestions plantejades a nivell europeu és la responsabilitat que tenen aquestes aplicacions i pàgines web amb contingut sexual explícit (real o simulat) de l'ús que en facin els menors. Especialment, es demana a les plataformes que controlin i bloquegin aquest tipus de pornografia no consentida, quelcom que no es va aconseguir amb la Llei de Serveis Digitals que acaba d'entrar en vigor, i que s'espera aconseguir amb la nova Llei d'Intel·ligència Artificial, ja que és una de les premisses que recull.

Mòbils a l'aula

El mòbil és l'eina per excel·lència des d'on els adolescents accedeixen a internet. Normalment es recomana introduir-los en l'ús d'aquesta eina als 14 anys (edat establerta per entrar a les xarxes socials), però la realitat s'imposa, i veiem avui dia nens i nenes de 10 anys amb smartphone propi, i amb perfils oberts a Instagram i Tiktok. De fet, és tal la dependència percebuda entre els menors cap als seus mòbils que s'han convertit en dispositius presents també a les aules. La prohibició del mòbil als instituts continua sent un debat obert; una mesura per la qual alguns països com França, Regne Unit o Finlàndia han apostat, mentre que la resta continuen avaluant què fer.

Alguns països i comunitats autònomes han legislat la prohibició dels mòbils a classe

A Espanya tan sols dues comunitats autònomes (Madrid i Galícia) han seguit l'exemple d'aquests països, i han limitat l'ús dels dispositius mòbils només per a les tasques que ho exigeixin i en casos necessaris, sota cap concepte per ús personal.

Així doncs, no hi ha una normativa nacional que prohibeixi l'ús del mòbil a les aules, ja que aquí la decisió està en mans de les comunitats autònomes, que són les que tenen transferides les competències en educació.

Més enllà de les lleis, del control parental o de la prohibició dels mòbils que poden ajudar a prevenir algunes de les conseqüències negatives de la tecnologia, la millor eina amb què comptem en l'actualitat és l'educació; educació en el respecte a les altres persones i a un mateix, educació per ser responsables i crítics amb els seus actes i amb la informació que reben, i educació en la forma d'interrelacionar-se en línia.

Al respecte, l 'INCIBE (Institut Nacional de Ciberseguretat d'Espanya) recomana treballar amb ells els següents aspectes, ja sigui a l'aula o a casa:

• Les habilitats socials i de comunicació adequades per a internet: eines com l'empatia, la netiqueta i l'assertivitat, que els ensenyaran a conèixer els seus propis drets i defensar-los sense generar conflictes. Així aprendran la forma adequada de comunicar-se en línia, sense caure en xantatges o enganys.
• La promoció de relacions positives: ensenyar-los en què consisteixen les relacions sanes i com identificar aquelles que no ho són, posant-los exemples de relacions enganyoses o tòxiques, i quines característiques tenen.
• Foment d'una sexualitat saludable: han d'aprendre a responsabilitzar-se de les seves accions en línia, entendre les conseqüències i els perills que es deriven de les seves decisions, sobretot de les relacionades amb la seva privacitat i la seva sexualitat.
• Pautes per identificar possibles contactes de risc: se'ls ha de fer veure de quins usuaris/es és segur acceptar una sol·licitud d'amistat a les seves xarxes socials. Sempre han de valorar els comportaments sospitosos que percebin i saber reaccionar-hi: no cedir a pressions o xantatges, aprendre a bloquejar i reportar casos de risc, així com configurar i protegir la seva privacitat a internet.
• Detecció de procediments i enganys per aconseguir material d'abús sexual: saber diferenciar quan algú intenta obtenir informació personal, confidències o imatges íntimes és fonamental per prevenir aquest risc. No només parlem de peticions directes en converses privades, també pot ser mitjançant apps o programes maliciosos, oferts amb l'excusa de desbloquejar funcions especials en una aplicació o un joc, però que un cop instal·lats en els seus dispositius permeten accedir als seus arxius o a la seva càmera web per espiar-los.
• Reacció davant casos d'abús sexual a internet: aquest aspecte s'ha de tractar en totes les sessions de treball, de tal manera que el menor sàpiga com actuar i demanar ajuda tant si es veu involucrat en una situació així, com si percep aquest problema entre les seves amistats. Donar a conèixer serveis d'ajuda gratuïts i professionals, com la línia d'ajuda en ciberseguretat d'INCIBE, 017, ha de ser una prioritat entre el nostre alumnat, així com animar-los a acudir a les Forces i Cossos de Seguretat quan siguin conscients d'un delicte.