domingo, 16 de marzo de 2025

Cómo la inteligencia artificial militar se le puede ir de las manos a los gobiernos



Uno de los centros de control de Fuerza Espacial estadounidense.
 (US Space Force)



A pesar de las advertencias de los expertos, los gobiernos ya están desarrollando armas autónomas manejadas por inteligencia artificial. Su despliegue puede ser mucho más caótico de lo que piensan



Aveces la inteligencia artificial no es tan inteligente como pensamos. Los investigadores que entrenaron un algoritmo para identificar el cáncer de piel pensaron que habían tenido éxito hasta que descubrieron que la IA estaba usando la presencia de una regla en las imágenes para hacer sus predicciones. Su muestra de datos consistía en imágenes en las que un patólogo había colocado una regla para medir el tamaño de las lesiones malignas.

La IA extendió esta lógica al resto de imágenes para predecir neoplasias malignas, identificando en consecuencia el tejido benigno como maligno si había una regla en la imagen. El problema aquí no es que el algoritmo de IA haya cometido un error. Más bien, la preocupación surge de cómo “piensa” la IA. Ningún patólogo humano llegaría a esta conclusión.

Estos casos de “razonamiento” defectuoso abundan: desde algoritmos de recursos humanos que prefieren contratar hombres porque el conjunto de datos está sesgado a su favor para propagar disparidades raciales en el tratamiento médico. Ahora que los investigadores conocen estos problemas, se esfuerzan por solucionarlos.


Las nuevas armas de IA

Google ha decidido cambiar recientemente su antigua política que prohibía el desarrollo de armas de IA. Esto incluye no solo la fabricación de armas con cerebro de inteligencia artificial, sino potencialmente también el empleo de la IA en vigilancia y otras armas que podrían desplegarse de forma autónoma en el campo de batalla. La decisión se produjo días después de que su empresa matriz, Alphabet, experimentara una caída del 6% en el precio de sus acciones.

Esta no es la primera incursión de Google en aguas turbias. Trabajó con el Departamento de Defensa de EEUU en el uso de su tecnología de inteligencia artificial para el Proyecto Maven, que consistía en el reconocimiento de objetos para drones. Cuando la noticia de este contrato se hizo pública en 2018, provocó una reacción violenta de los empleados que se negaban a que la tecnología que desarrollaban se utilizara para la guerra. Al final, Google no renovó su contrato, que fue sustituido por su rival, Palantir.


La rapidez del relevo de Google por otra compañía llevó a algunos a señalar la inevitabilidad de estos desarrollos y que tal vez fuera mejor estar dentro para dar forma al futuro. Por supuesto, estos argumentos parten del supuesto de que las empresas y los científicos podrán formar el futuro como quieran. Pero investigaciones anteriores han demostrado que esta suposición es errónea por al menos tres razones.


La trampa de la confianza

En primer lugar, los seres humanos son susceptibles de caer en lo que se conoce como trampa de confianza. He investigado este fenómeno, según el cual la gente asume que, dado que la toma de riesgos anterior dio sus frutos, está justificado asumir más riesgos en el futuro. En el contexto de la IA, esto puede significar ampliar progresivamente el uso de un algoritmo más allá de su conjunto de datos de entrenamiento. Por ejemplo, un coche sin conductor podrá circular por una ruta que no haya visto en su periodo de formación.

Esto puede generar problemas. Actualmente, existe una gran cantidad de datos a los que la IA de los vehículos sin conductor puede recurrir y, sin embargo, todavía ocurren errores. Accidentes como el del Tesla que chocó contra un avión de 3,5 millones de dólares cuando iba a recoger a su dueño en modo autónomo en un entorno desconocido aún pueden suceder. En cuanto a las armas de IA, para empezar, ni siquiera hay muchos datos.

En segundo lugar, la IA puede razonar de maneras que son ajenas al entendimiento humano. Esto ha llevado al experimento mental del clip de papel, en el que se le pide a la IA que produzca tantos clips como sea posible. Lo hace mientras consume todos los recursos, incluidos los necesarios para la supervivencia humana.

Por supuesto, esto parece trivial. Después de todo, los humanos pueden establecer pautas éticas. Pero el problema radica en no poder anticipar cómo un algoritmo de IA podría lograr lo que los humanos le han pedido y, por tanto, perder el control. Esto podría incluir incluso "hacer trampa". En un experimento reciente, la IA hizo trampa para ganar unas partidas de ajedrez modificando los archivos del sistema que indican las posiciones de las piezas de ajedrez, lo que de hecho le permite realizar movimientos ilegales.

Pero la sociedad puede estar dispuesta a aceptar errores, como ocurre con bajas civiles causados ​​por ataques con drones dirigidos por humanos. Esta tendencia es algo que se conoce como la “banalidad de los extremos”: los humanos normalizan aún más casos extremos de maldad como mecanismo cognitivo para afrontar la situación. La ‘alienación’ del razonamiento de la IA puede simplemente proporcionar más cobertura para hacerlo.

En tercer lugar, empresas como Google que están asociadas con el desarrollo de estas armas podrían ser demasiado grandes para fracasar. Como consecuencia, incluso cuando hay casos claros de que la IA va mal, es poco probable que se les considere responsables. Esta falta de responsabilidad crea una peligro, ya que desincentiva el aprendizaje y las acciones correctivas. El acercamiento de los ejecutivos tecnológicos al presidente estadounidense Donald Trump no hace más que exacerbar el problema, ya que diluye aún más la rendición de cuentas.


Todavía podemos evitarlo

En lugar de unirse a la carrera hacia el desarrollo de armamento de la IA, podrían trabajar en una prohibición total de su desarrollo y uso. Aunque esto pueda parecer inalcanzable, consideremos la amenaza del agujero en la capa de ozono. Esto provocó una rápida acción unificada para prohibir los CFC que lo causó. De hecho, solo tomó dos años para que los gobiernos acordaran una prohibición global sobre los productos químicos. Esto es un ejemplo de lo que se puede lograr frente a una amenaza clara, inmediata y bien reconocida.

A diferencia del cambio climático –que a pesar de la evidencia abrumadora sigue teniendo detractores– el reconocimiento de la amenaza de las armas de IA es casi universal e incluye a líderes empresariales tecnológicos y a científicos.

De hecho, la prohibición del uso y desarrollo de ciertos tipos de armas tiene un precedente; después de todo, los países han hecho lo mismo con armas biológicas. El problema radica en que ningún país quiere que otro lo tenga antes que él y ninguna empresa quiere salir perdiendo en el proceso. En este sentido, optar por convertir la IA en un arma o prohibirla reflejará los deseos de la humanidad. La esperanza es que prevalezca el lado mejor de la naturaleza humana.