Violència de dades
Una forma de violència que es produeix quan les decisions integrades en els algoritmes es basen en suposicions i prejudicis sobre les persones que són inclosos inconscientment en processos i resultats que reforcen els biaixos i, pitjor encara, fan que els algoritmes semblin imparcials (a causa de la percepció social del llenguatge matemàtic).
La peça
Cathy O'Neil, autora de Weapons of Math Destruction, veu en els algoritmes un problema fonamental que cal posar sobre la taula: la gent tendeix a confiar en resultats que semblen científics, com ara les qualificacions de risc algorítmiques, «i actualment és gairebé impossible apel·lar a aquests sistemes». Els algoritmes són una manera convenient que la gent eviti prendre decisions difícils i ho deixi en mans de resultats «matemàtics».
El poder que tenen els algoritmes a l’hora de mantenir les violències estructurals és més gran del que podríem pensar. Un algoritme que recomana a un operador d’aeroport que escorcolli una persona perquè es desconeix a quin gènere pertany. Un robot que es torna feixista al cap de només unes hores d’alimentar-se de Twitter. Una eina de recomanació d’ascensos basada en dades històriques que no promou les dones a causa de la manca de models previs existents.
Poques vegades arribem a entendre els processos a què se sotmet un algoritme per tal d’etiquetar-nos. Només veiem l’etiqueta. I les conseqüències d’aquestes etiquetes determinen com ens veu el món i com és el món en què ens ha tocat viure.
O’Neil, Cathy (2016) “Weapons of Math Destruction”. Crown Waldron, Lucas et. al (2019) “When Transgender Travelers Walk Into Scanners, Invasive Searches Sometimes Wait on the Other Side” Propublica (online). Vincent, James (2016) “Twitter taught Microsoft’s AI chatbot to be a racist asshole in less than a day” The Verge (online) Dastin, Jeffrey (2018) “Amazon scraps secret AI recruiting tool that showed bias against women” Reuters.
Context
Actualment, els algoritmes informàtics configuren el nostre món de maneres profundes i generalment invisibles. Prediuen si serem clients valuosos i si és probable que liquidem un préstec. Filtren el que veiem a les xarxes socials, seleccionen currículums i avaluen el rendiment laboral. Determinen penes de presó i supervisen la nostra salut. La majoria d’aquests algoritmes s’han creat amb bones intencions. L’objectiu és substituir els judicis subjectius per mesures objectives per tal de dur a terme les tasques d’una manera més ràpida i eficient. Però no sempre acaba sent així.
A moltes empreses que creen i comercialitzen aquests algoritmes els agrada emfatitzar el fet que són molt objectius, afirmant que eliminen els errors humans i els biaixos a l’hora de prendre decisions complexes. En realitat, però, cada algoritme reflecteix les eleccions subconscients de la persona que l’ha dissenyat.
El 2015, es va fer viral una notícia sobre la violència de dades: «L'algoritme de Google Fotos etiquetava les persones negres com a goril·les». Aquest terrible error va evidenciar que el seu sistema d’intel·ligència artificial no havia estat entrenat utilitzant rostres de persones negres (de manera que no se les classificava com a éssers humans).
Evidentment, això és molt difícil de demostrar. Quan els algoritmes no estan auditats ni regulats, es converteixen bàsicament en caixes negres. I, en una època en què els codis són mercaderies, això és especialment perillós: els paquets d’algoritmes dissenyats per empreses privades es venen a tercers, però els detalls exactes sobre com funcionen es mantenen en secret.
Conceptes relacionats
Feina invisible: de vegades, la invisibilitat no està estrictament relacionada amb el fet de «veure» ni amb una acció visual. En aquest sentit, es pot referir a la devaluació del mercat o a un judici social que etiqueta algunes tasques com a «menys importants». Quan parlem de violència de dades, el terme «invisible» fa referència directament a l’acció visual de no veure els treballadors o no entendre que fan una feina o com la fan. Un exemple d’això és quan un algoritme oculta quines tasques són dutes a terme per persones i quines són dutes a terme per ordinadors.
O’Neil, Cathy (2016) “Weapons of Math Destruction”. Crown Cherry, Miriam (2009) “Working for Virtually Minimum Wage” Ala. L. Rev BBC News editorial (2015). “Google apologises for Photos app’s racist blunder”. BBC (online)
