Personas sin hogar durmiendo en las calles de Madrid. (Efe)
La periodista Virginia Eubanks ha publicado una investigación sobre cómo afectan la minería de datos y los modelos predictivos al aumento de la brecha social
¿Cuántas veces se ha encontrado usted últimamente frente a una gestión y la persona que le atendía le ha contestado: "Lo siento, no podemos hacer nada, es el sistema"?. ¿Cuántas veces ha escuchado la historia de que alguien que no conduce, no tiene carnet y ni siquiera coche, se ha encontrado con una multa en el buzón y ha tenido que emprender una odisea legal para demostralo? ¿Ha intentado pedir una hipoteca y se la han denegado, aunque usted pensaba que cumplía los requisitos? El algoritmo, el minado de datos y los modelos de riesgo predictivo han llegado para quedarse. El 'big data' lleva años implementándose en la gestión de trámites burocráticos tanto en la empresa privada como en la Administración pública para mejorar la eficiencia y para optimizar los recursos. Pero, ¿la utilización de estas herramientas se basa en valores neutros o, detrás de ellas, existen implicaciones políticas?
La periodista estadounidense Virginia Eubanks ha dedicado los últimos años a estudiar el funcionamiento de esta tecnología en la gestión de ayudas sociales y ha descubierto que el nuevo modelo está contribuyendo a la ampliación de la brecha social. ¿Cómo? Lo explica en su libro 'La automatización de la desigualdad' (Capitán Swing), en el que explica cómo el sistema está expulsando a familias receptoras de las ayudas sociales y cómo se perpetúan los prejuicios basados en raza o clase social. Aunque su ensayo está centrado en el modelo estadounidense, Eubanks es consciente de que la tendencia es global en el mundo occidental y avisa de las consecuencias que tiene confiar la toma de decisiones a sistemas informáticos que no contemplan las consecuencias de sus resoluciones en la vida de personas reales. Cómo la hiperburocratización que conlleva esta nueva forma de gestión, en muchos casos, está diseñada para limitar el acceso de grupos en riesgo de exclusión a los recursos.
Eubanks decidió plantear su ensayo a partir de casos concretos, palpables, lo que falta en muchos estudios que se centran en el global, favoreciendo la despersonalización. Aunque ya llevaba tiempo trabajando en la materia, la autora vivió una experiencia personal con su seguro sanitario que hizo que cambiase el enfoque de su análisis. Poco tiempo después de cambiar de trabajo -en Estados Unidos el seguro sanitario lo contrata la empresa empleadora-, la pareja de Eubanks sufrió una agresión que lo mandó al hospital. Cuando fue a comprar medicamentos -sujetos a ese seguro-, el sistema se los denegó, porque el algoritmo detectó que podía tratarse de un fraude, con lo que la compañía suspendió la cobertura del tratamiento del paciente hasta que se comprobase la inocencia del cliente, no hasta que se determinase la culpabilidad, como sucede, por ejemplo, en Derecho Penal. Eubanks se dio cuenta de que esta manera de tratar los datos perjudicaba a las familias más vulnerables y encontró cómo la burocracia dejó sin Medicare -el programa que cubre la atención médica a personas con discapacidad o enfermedades inhabilitantes como el cáncer-, entre otros casos, a una niña de seis años discapacitada y dependiente que, al no firmar una documentación que le pedían, se le denegaban las ayudas de más de 6.000 dólares mensuales que necesitaba para su supervivencia.
Virginia Eubanks. (Capitán Swing)
PREGUNTA. Mientras en algunos países europeos, como España, se plantea la posibilidad -aunque lejana- de aprobar un ingreso vital mínimo, en su libro detecta una corriente de opinión mayoritaria en Estados Unidos en contra de las ayudas sociales. ¿Cuál cree que será el modelo que acabe imponiéndose?
RESPUESTA. Creo que es muy importante en el contexto estadounidense que la vez que nos acercamos más a conseguir este ingreso mínimo vital fue en la era Nixon. Aunque su Gobierno es famoso por su conservadurismo, una vuelta a la “ley y orden” después de las revueltas sociales de los sesenta, él estuvo más cerca de conseguirlo. Creo que este tipo de ayudas pueden ser muy útiles para mucha gente. Creo que los datos son muy claros cuando demuestran que los receptores de estas ayudas no se los gastan en juego, alcohol o cigarrillos. Los datos dicen que los receptores de estas ayudas se las gastan en educación o en poner en marcha su pequeño negocio. Pero, ¿sabes? No nos preocupa si la clase media profesional se gasta el dinero en vino blanco. En realidad, este tipo de ayudas puede marcar la diferencia en el día a día de estas personas. Aun así, la idea más extendida hoy es que eso es suficiente, que no necesitamos vivienda social, atención médica subsidiada, ni un programa universal que ayude a los jubilados, ni un sistema específico para personas dependientes.
Creo que eso exactamente es el neoliberalismo. Decir: ‘te vamos a dar algo de dinero y, ¡buena suerte! Si la cagas, es tu culpa’. Es la idea de dar ayudas y, si la cosa sale bien, pues bien, si la cosa sale mal, te dejan caer por el precipicio. De nuevo, es una forma de recrear ese diagnóstico moral. Creo que es inaceptable. Creo que la ciudadanía es lo suficientemente grande como para darle a la gente una dignidad y una mínima posibilidad económica, más allá de ofrecer dinero en metálico. Sabemos que el libremercado no ofrece ese bienestar mínimo a todo el mundo. El libremercado ha hecho empeorar la atención médica pública. Cuando Nixon intentó aprobar el ingreso mínimo vital fueron los moviemientos a favor del Estado del bienestar los que ‘mataron’ el plan de Nixon.
PREGUNTA. La renta per cápita en Estados Unidos en 2019 era de 65.000 euros anuales. Pocas familias podrían costearse un tratamiento que costase 6.000 euros al mes. ¿Por qué tiene tan mala prensa el sistema público Medicare?
RESPUESTA. Ésta es la pregunta del billón de dólares. Una de las razones por las que me gusta conceder entrevistas a prensa de fuera de Estados Unidos es que hay una serie de preguntas sobre el sistema estadounidense que aquí damos por hecho. Como que tenemos que demostrar que somos aptos para que nos cubra un seguro médico. Para nosotros, el sistema funciona así y nada más. Ésta es la razón por la que empiezo mi libro contando mi caso en vez de empezar por microcomputación. Creo que tenemos la tendencia, cuando hablamos de las nuevas tecnologías, de olvidarnos de todo el pasado y dar por hecho que el futuro, en este sentido, no tiene nada que ver con lo que había antes. Lo que tenemos que entender es también su contexto, de dónde vienen y por qué funcionan como funcionan. En Estados Unidos, a causa de nuestra historia específica de supremacía blanca, en la que la etnia mayoritaria no está cómoda con las minorías ni con que reciban ayudas 'gratis' -aunque no son gratis, porque salen de los impuestos-, con lo que se ha creado un sistema en el que muchos de nosotros hemos aceptado estar infraprotegidos, lo que es, al final, una violación de los Derechos Humanos.
Nuestro sistema está basado en la idea de que lo que nuestro sistema de Seguridad Social debería hacer es una especie de cálculo moral sobre quién merece que le ayuden y quién no merece que le ayuden. Y eso ha sido la decisión política que hemos tomado y que seguimos tomando durante el desarrollo de estos sistemas informáticos. Los sistemas informáticos se construyen con esos valores de supremacía y los reproducen. Tantos de esos sistemas están basados en los diferentes grados de diagnóstico moral, pero que distan mucho de ser como otros sistemas que hay en el mundo en el que hay un suelo mínimo debajo de cada uno y que no hay ninguna decisión vital tuya, sea cual sea, por la que no fueses merecedor de esos mínimos. ¡Es una violación de los derechos humanos! Yo llamo a esto programación social profunda (deep social programming), en la que ya se ha implementado la idea de que hay gente que, simplemente, no merece vivir.
Los algoritmos utilizados en la gestión de datos por parte de la Administración son una forma de control social
PREGUNTA. En muchos de los casos que cuenta, las herramientas de gestión de datos a la hora de conceder las ayudas sociales chocan con la privacidad de los ciudadanos. ¿Cómo y quién debe legislar sobre este tipo de tratamiento de datos a los que se refiere en su libro si el propio Estado es el que recurre a estas herramientas?
RESPUESTA. Es una de las principales cosas de las que quiero concienciar con mi libro. En los últimos cuatro o cinco años se han publicado un montón de estudios sobre los prejuicios sobre los que se construye el algoritmo -el 'algorithm bias'-, el reconocimiento digital, el papel de la vigilancia policial predictiva, y muchas de esas cosas. La mayoría se ha enfocado en el papel de la industria privada, que ha llevado a la idea de “si no te gusta, si no quieres perder tu privacidad, simplemente no utilices estos servicios. Eres un consumidor y tienes la opción de usar el servicio o no usarlo. Pero creo que las preguntas más interesantes tienen que ver con el uso estatal de estas tecnologías. Ahí la percepción de voluntariedad desaparece. Es todo mucho más complicado. Podrías decir: "pues no solicites bonos de comida". Pero es que si una familia no es capaz de proveer de la suficiente comida a sus hijos, se los pueden llevar los servicios sociales. Es una forma de control social.
Luego también está la idea de que si los organismos que utilizan este tipo de tecnologías fuesen transparentes, sería mejor. Pero es que ya muchas de estas actividades son totalmente públicas y la gente, como piensa que sólo le incumbe a la gente pobre -en el caso de, por ejemplo, las ayudas sociales, piensa: “bueno, que les jodan, son pobres”. Necesitamos legislar y necesitamos mejores leyes en cuestión de privacidad. Creo que debemos cambiar el relato sobre la pobreza. La gente piensa que la pobreza es un problema que le afecta a un pequeño porcentaje de gente con patologías. Pero no es verdad. Por ejemplo, en Estados Unidos, el 51% de los americanos vivirán por debajo del umbral de la pobreza en algún momento de sus vidas. ⅔ de la población necesitarán ayudas gubernamentales; no hablo sólo de ayudas al desempleo, ni de seguridad social. Y no todos somos igual de vulnerables a la pobreza. Tenemos que cambiar el relato sobre cómo nos afecta la desigualdad económica y cómo actúa la injusticia.
PREGUNTA. Si estas herramientas se utilizan globalmente y las gestionan empresas supranacionales, ¿es posible que los estados legislen sobre ellas?
RESPUESTA. Este tipo de sistemas los llevan organizaciones que se mueven a nivel global. Si lo cierran en Nueva Zelanda, se van a Colombia. Si lo cierran en Colombia, se van a Kenia. Y así todo el rato. Estoy intentando, junto a una compañera que se llama Andrea Quijada, recoger datos a nivel mundial de este tipo de sistemas y de cómo afectan a personas concretas en todo el mundo. No sé si existe la posibilidad de legislar más allá de las fronteras de cada país. ¿Cuál sería el organismo que lo legislase? ¿Las Naciones Unidas? Me gusta el trabajo que ha hecho el Laboratorio de la ONU para la Pobreza Extrema, pero la ONU va muy retrasada respecto a la cuestión de los algoritmos, así que sólo veo posible que sean los movimientos sociales los que cambien la legislación. Pero creo que será después de que haya un conflicto al respeto, cuando la gente se ponga a pensar realmente en ello, como con la cuestión del reconocimiento facial que se ha conseguido parar, de momento, en los Estados Unidos, aunque sé que ha habido protestas al respecto en muchos otros países. Se está produciendo un movimiento global que es fácil que escale y que va a necesitar que repensemos nuestros valores sobre la economía y la igualdad más allá de en términos de eficiencia.
La idea de que los gobiernos deberían funcionar como el mercado… es muy peligrosa
PREGUNTA. También afirma que las minorías raciales y las clases desfavorecidas se ven perjudicadas por el uso de este tipo de herramientas. ¿Cómo?
RESPUESTA. Muchos sistemas predictivos están basados en modelos predictivos, y parece que es una cosa muy de sentido común, pero no todo el mundo lo ve así, pero tienen los datos que tienen. Y esos datos los recogen basándose en nuestros valores culturales, y eso se ve en, por ejemplo, los sistemas de proytección de menores. Y la desproporción es visible. Se puede observar que las personas afroamericanas y los nativoamericanos están sobrerrepresentados en las casas de acogida. En teoría, el número de gente debería tener una relación con el porcentaje de la población, pero lo interesante en el sentido del prejuicio en estos modelos es que ocurre que, como tradicionalmente estos grupos de población se han percibido culturalmente como más peligrosos en el pasado, hay más datos sobre ellos en el sistema, y como hay más datos sobre ellos, se los fiscaliza más, lo que se convierte en la pescadilla que se muerde la cola. Es un ‘loop’ de injusticia. Y estos sistemas sólo confían en los datos puros, pero los datos puros parece que son puros números, que no hay una interpretación implícita, pero no es verdad. Cómo recogemos los datos, cómo decidimos medirlos, qué es lo que cuenta, ya es una cuestión política.
PREGUNTA. El relato imperante criminaliza las ayudas sociales, pero aplaude las rebajas impositivas a las grandes corporaciones. ¿Cómo debería cambiarse ese relato?
RESPUESTA. España es un modelo para Estados Unidos. Nos tendríais que enseñar vosotros. En Estados Unidos tenemos un nivel educativo bajísimo, sobre todo teniendo en cuenta que somos un país que genera mucha riqueza. La pandemia ha sido un gran reflejo de la desigualdad endémica en Estados Unidos. La idea de que el Estado no debería proporcionar ayuda a todo el mundo, sino que cada uno se las apañe como pueda, se ha visto que eso no funciona. La idea de que los gobiernos deberían funcionar como el mercado… es muy peligrosa. Es una ideología que beneficia sólo a unos pocos que tienen mucho, mientras que dejan al resto sufriendo. Creo que somos más listos que eso, creo que nos merecemos algo mejor. Lo que más me preocupa es que estas herramientas se ven como formas de tomar decisiones más neutras y objetivas que los seres humanos. Como si fuesen simplemente herramientas administrativas que no tuviesen un impacto político. Pero es que estas herramientas son máquinas de tomar decisiones políticas. Tenemos que estar atentos, porque están tomando esas decisiones por nosotros. En su peor versión pueden funcionar para INUTILIZAR la empatía que tenemos unas personas con otras. La falta de empatía es una de las luchas políticas a las que nos enfrentamos en un presente y un futuro cercano. También está esa idea de austeridad, de que no hay suficiente para todos.
PREGUNTA. Ahora, con el auge de una corriente autoritaria en todo el mundo, ¿cómo pueden afectar estas tecnologías a los derechos de la ciudadanía'
RESPUESTA. Creo que estas herramientas son muy útiles para gobiernos totalitarios y autoritarios. Pero no creo que nada sea inevitable. Ahora esa lucha contra el autoritarismo se está volviendo muy visible en muchas partes del mundo. Y creo que lo que es útil en ese sentido es que este tipo de herramientas han hecho que este tipo de decisiones políticas se hagan patentes. En el caso de Indiana que comento en el libro se hizo muy visible que el algoritmo estaba diseñado para expulsar al mayor número de gente posible del sistema de ayudas. Pero igual que se ha construido el algoritmo en base a unas ideas, se puede reconducir en base a otras. Creo que si diseñamos estas herramientas en base a otro tipo de valores, haremos un mundo mejor.
Por
Marta Medina
30/05/2021 - 05:00
Libros: La periodista estadounidense que advierte que los algoritmos nos hacen más pobres (elconfidencial.com)