Violencia de datos

Cathy O'Neil, autora de Weapons of Math Destruction, ve en los algoritmos un problema fundamental que hay que poner sobre la mesa: la gente tiende a confiar en resultados que parecen científicos, como calificaciones de riesgo algorítmicas, «y actualmente es casi imposible apelar a estos sistemas». Los algoritmos son una forma conveniente de que la gente evite tomar decisiones difíciles, dejándolo en manos de resultados «matemáticos».

El poder que tienen los algoritmos a la hora de mantener las violencias estructurales es mayor de lo que pensamos. Un algoritmo que aconseja a un operador de aeropuerto que cachee a una persona porque no está claro a qué género pertenece. Un robot que se vuelve fascista después de solo unas horas de alimentarse de Twitter. Una herramienta de recomendación de ascensos basada en datos históricos que no promueve a las mujeres debido a la falta de modelos previos existentes.

Rara vez llegamos a comprender los procesos a los que se somete un algoritmo para etiquetarnos. Solo vemos la etiqueta. Y las consecuencias de estas etiquetas determinan cómo nos ve el mundo y cómo es el mundo en el que nos ha tocado vivir.

Actualmente, los algoritmos informáticos configuran nuestro mundo de formas profundas y en su mayoría invisibles. Predicen si seremos clientes valiosos y si es probable que reembolsemos un préstamo. Filtran lo que vemos en las redes sociales, seleccionan currículums y evalúan el rendimiento laboral. Determinan penas de prisión y supervisan nuestra salud. La mayoría de estos algoritmos se han creado con buenas intenciones. El objetivo es reemplazar los juicios subjetivos con mediciones objetivas para realizar las tareas de una forma más rápida y eficiente. Pero no siempre termina siendo así.

A muchas empresas que crean y comercializan estos algoritmos les gusta enfatizar lo objetivos que son, afirmando que eliminan los errores humanos y los sesgos a la hora de tomar decisiones complejas. Pero en realidad, cada algoritmo refleja las elecciones subconscientes de la persona que lo ha diseñado.

En 2015, se hizo viral una noticia sobre la violencia de datos: «El algoritmo de Google Fotos etiquetaba a las personas negras como gorilas». Este terrible error evidenció que su sistema de inteligencia artificial no había sido entrenado utilizando rostros de personas negras (de modo que no se las clasificaba como seres humanos).

Evidentemente, esto es muy difícil de probar. Cuando los algoritmos no están auditados ni regulados, básicamente se convierten en cajas negras. Y en una época en la que los códigos son mercancías, eso es especialmente peligroso: los paquetes de algoritmos diseñados por empresas privadas se venden a terceros, pero los detalles exactos sobre cómo funcionan se mantienen en secreto.

Trabajo invisible: a veces, la invisibilidad no está estrictamente relacionada con el hecho de «ver» o con una acción visual. En este sentido, puede referirse a una devaluación del mercado o a un juicio social que etiqueta algunas tareas como «menos importantes». Cuando hablamos de violencia de datos, el término «invisible» hace referencia directamente a la acción visual de no ver a los trabajadores o no entender que realizan un trabajo o cómo lo realizan. Un ejemplo de esto es cuando un algoritmo oculta qué tareas son realizadas por humanos y cuáles son realizadas por ordenadores.

Coded Bias

Data Violence and How Bad Engineering Choices Can Damage Society

What happens when an algorithm gets it wrong