Servicios de imágenes que etiquetan como gorilas a personas de raza negra, anuncios de puestos de trabajo de alta cualificación que se muestran más a hombres que a mujeres, predicciones de reincidencia criminal que castigan el doble a la población afroamericana, propagación de noticias falsas o posicionamiento de webs antisemitas son algunos ejemplos de estos sesgos.

Un algoritmo es un programa de software que funciona como una receta de cocina: a partir de unos ingredientes (un input de datos), sigue unas instrucciones determinadas para hacer algo.

Así trabajan el buscador de Google -que destaca unos resultados de búsqueda sobre otros-, el muro de Facebook -que determina el orden en que aparecen las publicaciones-, las recomendaciones de compra de Amazon o las sugerencias de Netflix.

En pleno auge de la inteligencia artificial, los algoritmos empiezan a ser ubicuos: se utilizan en medicina, en procesos penales, en investigación policial, en concesión de hipotecas o en procesos de selección de personal.

La industria tecnológica defiende que la actividad algorítmica es más eficaz que el análisis humano, ya que las máquinas son más rápidas y están libres de desviaciones, pero esta asunción extendida es incorrecta.

Y lo es porque los algoritmos los programan seres humanos, que tienen una visión del mundo que pueden trasladar implícitamente al diseño del sistema, porque funcionan con datos que no siempre son veraces ni representativos de la realidad y porque muchas veces aprenden del comportamiento humano -por ejemplo, un buscador resalta lo más buscado-.

“Al igual que en otro tipo de diseños, como la arquitectura, la perspectiva subjetiva del diseñador cala las estructuras y reglas del sistema. Si, por ejemplo, el diseñador de un algoritmo de contratación basa el criterio de selección en su experiencia personal, los candidatos seleccionados responderán a esos juicios”, continúa.

Los datos que refuerzan los prejuicios

La élite de Silicon Valley está integrada en su mayoría por hombres jóvenes de raza blanca y eso tiene un impacto en la creación de estas herramientas.

Un algoritmo puede heredar los prejuicios de su creador, pero también ofrecer resultados sesgados porque trabajan con conjuntos de datos no representativos que pueden no tener en cuenta, infrarrepresentar o sobrerrepesentar a determinados colectivos. O con datos falsos o imprecisos.

“Por ejemplo, si el algoritmo está aprendiendo a predecir complicaciones quirúrgicas de un subgrupo de población en el que no se incluye ninguna raza minoritaria, el sistema no aprenderá nada relativo a las peculiaridades de ese grupo”, subraya la profesora de la Duke University e impulsora de la iniciativa Women in Machine Learning Katherine Heller.

Y esos sesgos, denuncia Heller, pueden tener graves consecuencias para los individuos que quedan al margen de sus resultados o salen peor parados en ellos, que suelen ser minorías o colectivos que sufren sexismo, racismo u homofobia.

Google ha tenido que dar varias veces explicaciones por la actividad de sus algoritmos. La última, la semana pasada, cuando el diario The Guardian alertó de que sus recomendaciones de autocompletado de la caja de búsqueda, que pretenden predecir las frases buscadas a partir de la primera palabra tecleada, asociaban a mujeres, judíos y musulmanes con el adjetivo “malos”.

Opciones que, si se elegían, redireccionaban a resultados de búsquedas que incluyen páginas web con contenidos misóginos, antisemitas y racistas. Y cuantos más clics, mejor posicionamiento porque el algoritmo aprende del comportamiento del internauta.

Los sesgos de los usuarios

Google insiste en que la función de autocompletar es automática y refleja la actividad de búsqueda de otros usuarios y del contenido de las webs.

“Periódicamente actualizamos nuestros sistemas para mejorar la búsqueda, por lo que los términos que aparecen en autocompletar pueden variar a lo largo del tiempo. Excluimos únicamente un pequeño grupo de preguntas relacionadas con la pornografía, la violencia, el discurso de odio y la violación de los derechos de autor”, declara la compañía.

La automatización le ha dado algún que otro disgusto a la tecnológica californiana: el año pasado, el etiquetado algorítmico de su servicio Google Photos clasificó a personas de raza negra como primates.

“El algoritmo aprende a partir de las imágenes con las que trabaja, que suelen elegir los ingenieros, y el sistema construye una representación del mundo a partir de esas imágenes. Si se le entrena con fotos de gente mayoritariamente blanca, le costará más identificar los rostros de personas que no lo sean”, precisa Crawford.

Ambas investigadoras piden mayor diversidad en los equipos de desarrollo: “Evitar todos los sesgos es complicado”, concede Crawford, pero un grupo diverso de trabajo contribuiría a asegurar que no prevalezcan perspectivas dominantes porque es más fácil detectar las desviaciones y “minimizar los potenciales puntos ciegos culturales”.

Ha habido más ejemplos en los que los resultados de Google han tenido tintes racistas o machistas: investigadores de la universidad Carnegie Mellon detectaron que mostraba anuncios de puestos profesionales altamente cualificados más a hombres que a mujeres.

También se encontró que las búsquedas de nombres más asociados a la comunidad afroamericana devolvían con más frecuencia anuncios sobre servicios de registros criminales que las de nombres típicos de la población blanca.

Pero no sólo Google ha sido objeto de críticas por sus desviaciones: ProPublica descubrió que el algoritmo judicial estadounidense Compas, que trata de predecir la tasa de reincidencia de los criminales, atribuía a los ciudadanos de raza negra el doble de probabilidad de delinquir que a los blancos.

Diseño más consciente

La investigadora Crawford, que participó este año en el simposio de inteligencia artificial celebrado en la Casa Blanca, exige que se analice el impacto social y cultural que tienen los algoritmos.

“Me preocupan las consecuencias que puedan tener los sesgos. Surgen problemas serios si afectan de forma desproporcionada a poblaciones vulnerables, especialmente en áreas como el empleo, la vivienda, la salud o la justicia”, reflexiona.

Y pone como ejemplo los mapas de calor que tratan de identificar a las personas que tienen más probabilidad de estar involucradas en un tiroteo: se demostró que uno desplegado en Chicago era completamente inútil porque no reducía la criminalidad, pero sí los abusos policiales sobre determinados colectivos.

Poco a poco, a raíz de estos casos, la ciudadanía empieza a ser consciente de que el software no está libre de la influencia humana y puede reforzar los prejuicios. Pero poco se sabe de cómo funcionan estos programas, son cajas negras, ya que las compañías son opacas y reticentes a dar información sobre ellos.

¿Cómo puede un usuario afectado ser consciente de que el algoritmo lo está tratando peor que a otro?

Por su parte, Crawford subraya que urge el desarrollo de infraestructuras de medida, testeo y respuesta a los sesgos, “sistemas de análisis social de la inteligencia artificial” que evalúen el impacto social, cultural y político de estas herramientas.

Los algoritmos, especialmente los de Google y Facebook, ya dejan huella en la forma en la que los ciudadanos modelan su idea del mundo, por eso es necesario un diseño que trate de evitar los prejuicios y falsedades. Transparencia, justicia, ética o precisión son términos que pueblan el discurso de Crawford.

“Para empezar, investigadores de academia e industria han de empezar a estudiar cómo el acceso a la información, la riqueza y los servicios básicos de las distintas comunidades modelan los datos que sirven de entrenamiento a los sistemas de inteligencia artificial”, asevera.

“Tenemos mucho camino que recorrer, pero el esfuerzo resulta crítico porque la inteligencia artificial cada vez está más imbricada en nuestra vida cotidiana”, concluye.

Fuente: Violeta Molina Gallardo / EFE