La intel·ligència artificial és una creació humana, i com tota innovació tecnològica porta inherents uns biaixos i prejudicis basats en la mirada estereotipadora de la persona que la dissenya i entrena.

No obstant això, la humanitat està deixant en mans d'aquestes IA un cúmul de decisions, moltes de les quals impacten en les vides d'altres persones, generalment pertanyents a col·lectius discriminats socialment, culturalment i econòmicament.

Youssef M. Ouled, periodista i investigador sobre el racisme, coordinador d'AlgoRace i responsable de l'àrea antidiscriminació a Rights International Spain, exposa en aquesta entrevista els perills de l'automatització, i comparteix amb nosaltres algunes claus per desenvolupar tecnologia d'intel·ligència artificial amb una mirada més ètica i menys racista.

Pregunta: Com neix AlgoRace i què implica la (des)racialització de la IA?

Resposta: AlgoRace neix d'una necessitat, la d'introduir una perspectiva crítica als debats polítics i socials sobre intel·ligència artificial (IA) i algoritmes. En els espais de debat i discussió sobre IA i algoritmes vèiem una absència de veus situades des de l'antiracisme i la lluita contra el colonialisme, unes veus que a més pertanyen a uns grups socials que són negativament afectats pels usos de la IA i els algoritmes en tots els àmbits de la seva vida.

«La IA és un mecanisme més de racialització»

Quan parlem de desracialitzar, ho fem amb la idea d'abordar aquest debat des d'una visió política de la raça, considerant que la IA és un mecanisme més de racialització, de jerarquització social, on les persones no blanques ocupen les capes més baixes de la societat. Amb aquesta expressió assenyalem que la IA es fa servir per mantenir i reforçar aquesta jerarquització racial.

P.: A Espanya s'estan utilitzant algoritmes a les administracions públiques avui dia?

R.: Avui dia s’empren algoritmes i sistemes d'IA en tots els àmbits de la vida. Des de l'àmbit privat (banca, assegurances) fins a l'àmbit de l'administració pública. En aquest segon podem trobar usos que aborden tota mena d'espais: habitatge, educació, ocupació, sanitat, serveis socials, policia, fronteres, etc. En l'espai públic que transitem a diari és molt probable que estiguem sent sotmesos a sistemes de videovigilància i reconeixement facial, d'ubicació, de mediació constant de les nostres decisions… el problema principal, que no únic, que afrontem com a societat és la falta de transparència de les administracions i institucions públiques. En conseqüència, podem estar sent afectats per aquests sistemes sense saber-ho, i fins i tot quan ho sabem i volem més informació perquè volem protegir els nostres drets fonamentals com la privacitat, o volem revocar una decisió que considerem injusta com la no concessió d'una ajuda social, trobem una enorme opacitat i desprotecció.

P.: Què són els SDA (Sistemes de Decisió Automatitzada) i com ens afecten en l'actualitat?

R.: El terme fa referència al procés d'automatització mitjançant l'ús de dades i algorismes per optimitzar la presa d'una decisió. Ja hem posat algun exemple, però podem referir-nos a un sistema que decideix si una entitat bancària concedeix un crèdit a una persona o no, si admet una persona a una universitat o no, o si determina que aquesta persona és apta per a un lloc de treball. Ja no és una persona qui decideix, sinó un sistema al que se li han donat determinades pautes d'elecció i, per tant, de discriminació.

«Ja no és una persona qui decideix, sinó un sistema al que se li han donat determinades pautes d'elecció i, per tant, de discriminació»

P.: A què us referiu quan parleu de biaixos a la IA? Podries explicar més a fons com aquests biaixos es manifesten en la intel·ligència artificial i com afecten diferents grups de la societat?

R.: Diem que la IA està esbiaixada pel context històric i polític en què es pensa i desenvolupa. Parlem d'un camp en origen governat per homes blancs que determinen la manera de veure, analitzar i entendre el món. Una manera de veure el món que privilegia el fet de ser blanc. Això succeeix a un nivell estructural i la IA, com un producte més de la ciència, no n'és una excepció.

La IA és aplicada sota una jerarquia de poder: de dalt a baix, de rics a pobres, de privilegiats a marginalitzats, de blancs a subjectes racialitzats, d'homes a dones o LGTBIQ+… Això ho veiem quan s'apliquen algoritmes per part de l'administració per impedir o dificultar l'accés a ajudes públiques als que més ho necessiten, a nivell educatiu perjudicant les i els estudiants més desfavorits, es fa servir per part de la patronal per vigilar els seus empleats de manera que rendeixin el màxim possible sense importar la seva salut, es fan servir algoritmes a nivell policial per «predir» un futur criminal o quina serà la pròxima denúncia falsa, exercint una hipervigilància i perjudicant especialment persones no blanques, es fan servir algoritmes en el context de la violència de gènere per suposadament predir el seu risc posant el focus en els homes no blancs i desatenent les dones no blanques, es fan servir sistemes d'IA per controlar fronteres i criminalitzar els fluxos migratoris, fent-les més mortals, etc. Per tant, diem que la IA està esbiaixada perquè s'aplica sota unes lògiques colonials i racials que, com hem vist, acaben afectant unes poblacions en detriment d'unes altres. És a dir, perquè les decisions finals dels sistemes implementats perjudiquen uns grups de població davant d'uns altres.

P.: Qui entrena els algoritmes? Hi ha alguna manera d'eliminar o evitar els biaixos humans en els futurs algoritmes que es desenvolupin?

R.: Qui dissenya, pensa, desenvolupa i entrena els sistemes d'IA o algorítmics són persones. Aquesta és una de les raons, però no l'única, per la que aquests contenen biaixos, em refereixo a persones que viuen en un context determinat del que no són aliens, per tant, en un sistema on el racisme és estructural, acaben per reproduir biaixos de raça, però també de gènere o d'altres.

«Per evitar o superar els biaixos caldria lluitar contra una política racista i colonial que els dona sentit, més enllà d'un biaix individual del dissenyador/a»

No obstant, hi ha altres raons que generen el biaix (intencionat o no). D'una banda, està la finalitat: si tu desenvolupes sistemes d'IA per impedir que les persones del sud global puguin migrar al nord, aquí estàs posant en funcionament un sistema amb una intenció clara de discriminar. Perquè aquesta acció no es pensa a la inversa. I, d'altra banda, està la informació amb què s'entrena aquests sistemes. Molts dels sistemes emprats per «predir» el crim o la criminalitat s'acaben enfocant o actuen de manera desproporcionada i desigual sobre persones no blanques; això també té a veure amb la informació existent que després es fa servir per entrenar aquests sistemes. És a dir, si tu tens a la policia parant sistemàticament persones no blanques, com sabem que succeeix, és normal que després tinguis molta més informació sobre població que no és blanca. Així es com es retroalimenta el cercle de la criminalització. Per evitar o superar els biaixos caldria lluitar contra una política racista i colonial que els dona sentit, més enllà d'un biaix individual del dissenyador/a.

P.: Quan dieu que s'està automatitzant el racisme, a què us referiu?

R.: A que, per exemple, ja no són directament persones les que et neguen un lloguer per ser migrant, ni els que t'impedeixen passar la frontera, ni els que et perfilen pel carrer, ni els que et segreguen, ni els que et neguen un crèdit o no et contracten per a una feina… ara tot això ho fa una màquina. Això no vol dir que la màquina ho faci tot per si mateixa, perquè si d'alguna cosa necessiten és d'una supervisió humana constant. No obstant, s'ha fet servir això per defugir responsabilitats, per dibuixar totes aquestes accions com si fossin correctes perquè «la máquina és neutral» i, com hem dit anteriorment, per generar més opacitat en aquestes dinàmiques, moltes vegades s'externalitzen aquestes funcions a sistemes dissenyats i gestionats per empreses privades.

P.: Què respondries a l'afirmació «la tecnología és neutral»?

R.: Com diuen a The Wired, «AI is an Ideology, Not a Technology»: la IA i els SDA són una ideologia, no una tecnologia. Cap sistema d'IA o algorítmic és neutral perquè es pensa, dissenya i executa des d'un lloc concret, des d'unes persones concretes, al voltant d'unes persones concretes i amb una intencionalitat concreta. Tot sistema d'IA té una intencionalitat política. Com pot ser neutral un sistema d'IA implementat a la frontera per impedir que persones del sud global accedeixin al nord global?

«La IA i els SDA són una ideologia, no una tecnologia»

P.: Fins ara, què en sabeu del projecte de «frontera digital» que vol implantar el govern espanyol a Ceuta?

R.: Sabem que el govern progressista de l'anterior legislatura va anunciar a finals del 2021 la seva implementació en els passos fronterers de Ceuta i Melilla per a un major control migratori mitjançant l'ús d'IA mitjançant la recollida de dades biomètriques (que s'han prohibit per a la ciutadania comunitària). Sabem que és una política que va en la línia de les decisions preses per la UE en les últimes dècades, que es tradueix en la criminalització de la migració, en impedir que arribin per vies segures i legals, cosa que augmenta conscientment la mortalitat dels que, des del sud global, busquen entrar a sòl europeu. Sabem que això ha requerit d'una inversió de centenars de milions d'euros que suposarà un major control, però també una major opacitat a la frontera, sabem que els sistemes usats en aquesta frontera no es podran auditar i, per tant, no es podrà saber quines vulneracions sistemàtiques es cometen a diari. Sabem que la darrera cosa que li importa a la UE és la privacitat i la vida de les persones migrants del sud global, perquè no sabrem qui emmagatzemarà les dades biomètriques que es digitalitzaran, ni on ni per quant temps ni per a què. El que no sabem és quan es posarà en marxa, tot i que sí sabem que des de fa mesos s'ha començat a construir la infraestructura necessària.

P.: Quins reptes afronteu en investigar i sensibilitzar sobre el rol de la IA en el racisme?

R.: Les administracions i institucions públiques es mouen amb molta comoditat en la falta de transparència i opacitat. Quelcom impensable en un Estat de dret esdevé una quotidianitat, la població no pot saber quins sistemes d'IA se'ls està aplicant, quan ni per a què. Això és una política conscient que diu molt de si mateixa. Ens impedeix conèixer l'impacte real d'aquestes implementacions. Ens impedeix connectar amb les persones afectades i, per tant, impedeix a les persones afectades organitzar-se en la defensa dels seus drets.

«La majoria de les informacions sobre IA que hi ha als mitjans venen de les mateixes empreses i multinacionals»

Un altre factor és la narrativa mediàtica, copada per les empreses tecnològiques. La majoria de les informacions sobre IA que hi ha als mitjans venen de les mateixes empreses i multinacionals. La perspectiva crítica i social brilla per la seva absència, no perquè no existeixi, sinó perquè no es consulta. No interessa. Mentre que les organitzacions que investiguen i sensibilitzen tenen uns recursos limitats, aquestes posseeixen recursos més que suficients.

P.: Què és la tecnoprecarietat i com es relaciona amb la IA?

R.: Això ho hem desenvolupat de forma més extensa en el nostre primer informe, «Una introducción a la IA y a la discriminación algorítmica para movimientos sociales». Pel que fa a AlgoRace, parlem de la prevalença d'una lògica colonial entre el nord i el sud global segons la qual les possibilitats del desenvolupament occidental es basen en l'explotació de recursos i mà d'obra de les seves excolònies. Això és observable, entre altres qüestions, en la localització de les grans corporacions d'etiquetatge de dades com la filial d'Amazon, Mechanical Turk, com recull la publicació Technoprecarious, o empreses com Facebook, les quals empren milers de persones en països africans sotmetent-les a jornades interminables i pagant salaris irrisoris. Fruit d'aquesta explotació laboral colonial és el sorgiment del Sindicat Africà de Moderadors de Continguts format per centenars de treballadors que realitzen tasques amb sistemes d'IA, com hem assenyalat, per a Facebook, però també per a TikTok o ChatGPT, en condicions similars a les denunciades.

Aquesta tecnoprecarietat no es limita al sud global, les grans corporacions tecnològiques implementen un model de negoci basat en l'explotació laboral i la vulneració de drets laborals. A Espanya tenim, entre d'altres, Riders X Derechos, un col·lectiu que lluita pels drets laborals i les condicions de vida dignes dels treballadors de repartiment a domicili, que com assenyalen a la seva pàgina web, combaten els perills de la «flexibilització» o «uberització» del treball. A aquest efecte, han impulsat inspeccions i promogut judicis, i han aconseguit guanyar molts dels casos. L'autoorganització és una resposta a la tecnoprecarietat.

P.: Què proposa AlgoRace per mitigar l'impacte negatiu de la IA en la discriminació racial?

R.: Com diem en l'informe citat, prendre consciència que els biaixos racials de la IA són reflexos del racisme estructural existent, així com que el biaix va més enllà del codi i les dades, aquí parlem de l'impacte polític i mediambiental de la tecnologia, de la precarietat laboral esmentada.

«El biaix va més enllà del codi i les dades»

Hem de fugir de les narratives que donen un poder antropomorf a la tecnologia. La IA no és racista per se, ho són les finalitats amb què es dissenya, ho són els equips de persones que dissenyen aquesta tecnologia i, especialment, ho són les relacions de poder que possibiliten els efectes de la discriminació per mitjà d'aquesta tecnologia. I, finalment, és important sensibilitzar la societat i crear organitzacions i aliances en la lluita pels drets digitals, per tots els drets i llibertats. Els de tots i totes, sense excepció. Aliances com IA Ciudadana, i espais com Algorights, entre d'altres.