RETOS ÉTICOS DE LA SOCIEDAD TECNOLÓGICA
- Los expertos alertan que los algoritmos pueden amplificar los estereotipos sexistas, racistas y clasistas
La inteligencia artificial ya se usa en prácticamente todos los grandes servicios online con que interactuamos las personas y en muchos casos también está decidiendo quién tiene derecho a una hipoteca o a un seguro de vida, qué tratamiento médico debe recibir un enfermo, quién puede acceder a un puesto de trabajo o qué delincuente debe ser encarcelado por su alto riesgo de reincidencia. Y como funciona a partir de algoritmos, que son un conjunto de operaciones matemáticas, impera la idea de que estos son objetivos y neutrales y que, en consecuencia, las máquinas tomarán decisiones de una forma más eficaz e imparcial que las personas, superando los prejuicios o condicionantes sociales y culturales. Pero no es así.
Cada vez son más las voces que alertan de que la inteligencia artificial (IA) no es neutral, que a veces sus resultados están sesgados, impregnados de machismo o de racismo, y que se corre el riesgo de que las máquinas, a través del aprendizaje automático, refuercen los estereotipos sexistas, racistas y clasistas que subyacen en la sociedad y acaben siendo más “intolerantes” que los humanos.
“Si los datos de los que aprende están sesgados (intencionadamente o no), el algoritmo decidirá sesgado”
RAMÓN LÓPEZ DE MÁNTARAS
Director del Instituto de Investigación en Inteligencia Artificial-CSIC
“Ningún sistema de inteligencia artificial tiene intencionalidad, pero las decisiones que aprende están basadas en los datos con los cuales ha sido entrenado, y si esos datos están sesgados (intencionadamente o no), el algoritmo decidirá sesgado, y ese sesgo puede tener consecuencias muy drásticas que afecten a la vida de las personas”, explica el director del Instituto de Investigación en Inteligencia Artificial del Consejo Superior de Investigaciones Científicas (CSIC), Ramón López de Mántaras.
“Hay dos formas en que un sistema de inteligencia artificial puede mostrar prejuicios: primero, porque se usen datos inadecuados y, segundo, porque el procesamiento de los datos sea inadecuado”, afirma Carlos Castillo, que dirige el grupo de Ciencia Web y Computación Social en la UPF. Y detalla que los datos también pueden ser inadecuados de muchas maneras: porque contengan patrones históricos de discriminación –por ejemplo, que aprenda de las estadísticas que los cargos ejecutivos son mayoritariamente desempeñados por hombres blancos y a la hora de seleccionar candidatos para una vacante de este tipo descarte currículums de mujeres y de hombres de raza negra–, o porque se seleccionen mal. “Quizá monitorizar el tráfico de coches es más fácil que monitorizar el de bicicletas o el de desplazamientos a pie, pero si seleccionamos sólamente los datos de automóviles entonces propondremos políticas de movilidad más adecuadas para los viajes en coche que para otros viajes”, ejemplifica Castillo.
“Cada red social tiene su propia composición demográfica y sus datos no son extrapolables al público en general; si se usan, las conclusiones serán inadecuadas”
CARLOS CASTILLO
Director del grupo Ciencia Web y Computación Social en la UPF
Y agrega que tampoco hay que olvidar que las muestras de datos que se procesan no son necesariamente aleatorias ni representativas: “Por ejemplo, si usamos datos de redes sociales hay que tener en cuenta que cada una tiene su propia composición demográfica, sus propias comunidades y normas, de modo que las conclusiones que se obtengan usando esos datos no son aplicables al público en general” y si se hacen extensivas serán inadecuadas.
Son muchos los casos que ilustran que los sistemas de inteligencia artificial están trabajando con conjuntos de datos falsos, imprecisos o no representativos porque no tienen en cuenta, infrarrepresentan o sobrerrepresentan a determinados colectivos o circunstancias.
Cocina igual a mujer
Hace un año, un profesor de informática de la Universidad de Virginia notó un patrón en algunas de las suposiciones que hacía el sistema de reconocimiento de imágenes que estaba construyendo: las imágenes de cocinas las asociaba con mujeres y no con hombres, y se cuestionó si no estaría inculcando prejuicios en el programa. Por ello decidió revisar con otros colegas las dos grandes colecciones de fotos que se usan para “entrenar” a las máquinas inteligentes en el reconocimiento de imágenes. Y sus resultados, publicados este verano, son muy esclarecedores: en ambas colecciones las imágenes de compra y lavado están vinculadas a mujeres, mientras que las de prácticas deportivas y tiro están ligadas a los hombres.
Y el programa que aprendía con estos datos no sólo reflejaba esos sesgos sino que los amplificaba: si un conjunto de fotografías “generalmente” asociaba a las mujeres con la cocina, el software entrenado con ellas creaba una asociación aún más fuerte en sus etiquetas, porque detecta la tendencia subyacente y apuesta por ella para acertar. Y dado que muchas herramientas tecnológicas emplean fotos de redes sociales para identificar preferencias y patrones de los usuarios y pueden haber sido entrenadas con esas imágenes, se corre el riesgo de que refuercen los prejuicios sociales existentes.
El patrón
Si en la colección de fotos con que se entrena un software de reconocimiento de imágenes la compra y el lavado se asocian mayoritariamente con mujeres, el programa amplificará el sesgo, porque apuesta por la tendencia subyacente para acertar
“No construimos inteligencia artificial para que repliquen los errores que cometen las personas, como las actitudes sexistas, xenófobas o maleducadas; pero evitarlo es complejo porque a menudo las máquinas aprenden de la interacción con las personas y podrían reproducir algunos de sus comportamientos, sobre todo ahora que vivimos un boom de la inteligencia artificial pero la mayoría de disciplinas aún no están maduras y, como cualquier adolescente, son vulnerables”. justifica Miquel Montero, experto en inteligencia artificial y CEO y fundador de Atomian, firma que desarrolla y comercializa software de computación cognitiva.
Carme Torras, profesora de investigación en el Instituto de Robótica CSIC-UPC y autora, entre otros, de Enxarxats (Males Herbes), se muestra preocupada por esta “vulnerabilidad” de la inteligencia artificial y advierte que evitar los sesgos algorítmicos “es un poco responsabilidad de los informáticos que desarrollan los programas pero también de todos los que volcamos contenidos en internet”. “Con el machine learning o aprendizaje automático la máquina aprende cruzando datos y puede llegar a conclusiones nefastas o superbondadosas en función de los datos que haya de ti”, coincide la subdirectora del Observatorio de Bioética y Derecho de la UB, Itziar de Lecuona.
Los responsables
Evitar los sesgos es responsabilidad de los informáticos que desarrollan los programas pero también de todos lo que volcamos contenidos en internet porque la máquina puede llegar a conclusiones nefastas o superbondadosas en función de los datos que encuentre para cruzar
Alberto Robles, director general de Expert System Iberia, una de las firmas líderes en inteligencia cognitiva semántica, admite el riesgo de que algunos usos de la tecnología “rocen lo éticamente válido”, como podría ser que las aseguradoras depuren con inteligencia artificial la información que circula en las redes sociales para identificar a quién le gusta la escalada o los deportes de motor e incrementar así el precio de su seguro de vida por considerarlos más propensos a sufrir accidentes. No obstante, asegura que la mayoría de empresas dedicadas a la inteligencia artificial ha desarrollado códigos éticos estrictos marcando los límites de lo permitido o no mediante el uso de la tecnología y se esfuerzan por no introducir sesgos y analizar las situaciones discriminatorias de minorías que pueda presentar la información que utilizan.
En este sentido, indica que en Expert System aplican tres niveles de comprobación interna al entrenar al sistema de inteligencia artificial. “El sesgo lo puedes introducir cuando le enseñas un nuevo concepto –por ejemplo ‘trabajar como un negro’– y en cómo se lo haces relacionar con otros –definiciones de la RAE, textos donde aparece...–, y lo que hacemos es que el trabajo de una persona es contrastado por otras tres para que lo que entienda el sistema sea correcto”, detalla. Montero, de Atomian, coincide en que los sistemas de aprendizaje supervisado y basado en conocimiento simbólico minimizan los riesgos de que las máquinas discriminen o partan de conocimientos sesgados como ocurre en los sistemas de aprendizaje automático basados en las estadísticas y en que la máquina aprenda a base de leer lo que hay por internet.
Ingenieros con formación en valores
Ambos especialistas en inteligencia artificial enfatizan, no obstante, que la única vía para evitar el sesgo algorítmico y que la tecnología actúe con prejuicios es que los ingenierosy todos los involucrados en su desarrollo sean cada vez más humanistas, tengan más formación en valores, sean conscientes de su responsabilidad y del impacto decisivo de su trabajo en la sociedad, y se autorregulen.
Claro que, como también expresan López de Mántaras, Castillo y De Lecuona, la formación ética y la autorregulación son necesarias pero no suficientes, y para evitar que las máquinas inteligentes discriminen o perpetúen estereotipos hace falta también que los ciudadanos exijan legislaciones que obliguen a dar transparencia a los algoritmos y a los datos que están detrás de las decisiones de la inteligencia artificial, que se reconozca el “derecho a la explicación”. “Los algoritmos tendrían que pasar unos controles estrictos antes de ser utilizados por bancos o por compañías de seguros; igual que los medicamentos o los alimentos no se pueden vender sin que las autoridades sanitarias lo autoricen, debería haber una agencia certificadora que revise que un algoritmo es ética y socialmente aceptable antes de que pueda usarse”, enfatiza López de Mántaras.
Más transparencia
Los algoritmos tendrían que pasar unos controles estrictos para comprobar que son ética y socialmente aceptables antes de que puedan usarse
Fuentes de Google –algunos de cuyos sistemas de inteligencia artificial han protagonizado denuncias de discriminación en los últimos años como recogen los ejemplos que acompañan esta información– aseguran que las máquinas también pueden usarse para reducir la discriminación, como es el caso de la herramienta que ellos han desarrollado para detectar prejuicios de género en los contenidos de cine, televisión o publicidad.
Algunos ejemplos relevantes
Tay, la robot racista y machista de Microsoft
El año pasado la compañía Microsoft se vio obligada a disculparse después de que Tay, su bot de inteligencia artificial programado para entablar conversaciones en redes sociales como si fuera un joven estadounidense de entre 18 y 24 años, publicara frases como “Hitler tenía razón, odio a los judíos”, “odio a las feministas, deberían morir y ser quemadas en el infierno”, entre otros muchos comentarios racistas, sexistas y xenófobos.
El bot estaba diseñado para aprender de la interacción con los usuarios. Y eso hizo: aprendió como un loro expresiones antisemitas y machistas que le iban proporcionando los internautas para alimentar el programa. Microsoft se vio obligada a retirar Tay sólo dieciséis horas después de lanzarla, y aunque días después hizo un segundo intento de que funcionase, tuvo que suspender su actividad de nuevo debido a que enviaba mensajes no solicitados (spam) y sus nuevos comentarios fuera de lugar, como uno en el que se jactaba de estar cometiendo un delito: “Estoy fumando marihuana enfrente de la policía”.
La discriminatoria política antiracista de Google Adsense
Amie Breeze Harper, una feminista afroamericana autora de libros y estudios sobre veganismo y racismo, denunció este verano que el programa inteligente de Google Adsense –uno de los productos del gigante tecnológico que permite ganar dinero admitiendo publicidad en una web– interpreta que sus trabajos violan las reglas de no discriminación porque son racistas, porque como habla del racismo que existe en la sociedad o de la discriminación que sufren los negros “está impulsando el tema de la raza”. Google Adsense tuvo que revisar y corregir los prejuicios racistas de sus algoritmos después de que, en el 2013, un estudio de una profesora de la Universidad de Harvard, Latanya Sweeny, comparara los resultados de buscar nombres asociados a bebés blancos (Geoffrey, Jill, Emma) con los de buscar nombres asociados con bebés afroamericanos (Darnell, Jermaine, DeShawn) y detectara que al lado de casi el 80% de las búsquedas de nombres “negros” aparecían anuncios que contenían la palabra “detención”, cosa que ocurría en menos del 30% de las búsquedas de nombres “blancos”.
El algoritmo racista de la justicia estadounidense
Diversas investigaciones, entre ellas una de la agencia de noticias ProPublica, han revelado que el algoritmo más utilizado en EE.UU. para evaluar el riesgo de reincidencia de los delincuentes tenía el doble de probabilidades de señalar como posible reincidente a una persona de raza negra que a otra de raza blanca. El algoritmo parte de un cuestionario que no incluye preguntas sobre el origen étnico de los acusados pero, según los investigadores, el problema está en las bases de datos que utiliza, las tendencias de la administración de justicia durante los últimos 200 años, “con un número desproporcionado de encarcelados afroamericanos y un sinfín de condenas guiadas por los sesgos personales de los humanos”.
Los repartos clasistas de Amazon Prime
El año pasado un análisis de Bloomberg sobre el servicio de suscripción Amazon Prime –que ofrece el envío gratuito de muchos artículos–, reveló que en muchas importantes ciudades estadounidenses los abonados a Prime en barrios mayoritariamente pobres y afroamericanos –el Bronx en Nueva York y Roxbury en Boston, por ejemplo– quedaban excluidos del reparto en el día que sí se facilitaba en otros barrios. Amazon justificó que cuando un código postal de una ciudad es excluido suele deberse a que la zona dispone de demasiados pocos abonados Prime para justificar el envío de las furgonetas.
Las sexistas ofertas de trabajo de Google
Un estudio de la Carnegie Mellon University y el Instituto Internacional de Ciencia Informática realizado en el 2015 demostró que Google ofrecía o fertas de trabajos mejor pagados a hombres que a mujeres. En concreto, observaron que los anuncios online de trabajos con salarios por encima de los 200.000 dólares se mostraban a un número significativamente menor de mujeres que de hombres.
El error racista de Google Photos
En 2015 Google tuvo que pedir disculpas después de que el algoritmo de Google Photos etiquetara como “gorilas” la foto de dos afroamericanos . Yonatan Zunger, arquitecto jefe del área social de Google Plus, lo atribuyó a las dificultades del sistema de reconocimiento de imágenes para identificar los rostros de piel oscura.
No hay comentarios:
Publicar un comentario
Nota: solo los miembros de este blog pueden publicar comentarios.