:format(jpg)/f.elconfidencial.com%2Foriginal%2Feb7%2Ff6f%2Fab6%2Feb7f6fab6f9889456151585e149919f0.jpg)
Vista de los logos de OpenAI y Anthropic. (Reuters/Dado Ruvic)
En apenas unos días, varios investigadores han puesto sobre la mesa un escenario que hasta hace poco parecía propio de la ciencia ficción. Hablan de modelos que escapan al control, se replican y podrían acabar suponiendo una amenaza existencial
En apenas unas pocas horas, medio mundo ha pasado de estar aplaudiendo el milagro matemático obrado por OpenAI (una euforia que se tornó en polémica por una denuncia de supuesto plagio con matemáticos murcianos involucrados) a tener el nerviosismo metido en el cuerpo pensando que existen probabilidades reales de que una inteligencia artificial se liberase del yugo de sus progenitores de carne y hueso y acabe con la civilización tal y como la conocemos.
El hombre que ha desbloqueado este nuevo miedo no ha sido ninguno de los jefazos ni de las estrellas de la industria. Ha sido un soldado raso. Jacob Coxon, investigador de seguridad de Anthropic, anunció que abandonaba la empresa. Podía haber sido una renuncia laboral más si no hubiese detallado los motivos en la red social X, antes conocida como Twitter.
"Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década", explicó el ingeniero que también trabajó para la empresa de Sam Altman. No desaprovechó la oportunidad para acusar a estas empresas de ser plenamente conscientes de estos riesgos. La publicación no tardó en viralizarse y en apenas un par de jornadas ya sumaba 160 millones de visualizaciones.
El jefe de Coxon y responsable de alineamiento de la empresa, Evan Hubinger, se pronunció poco después en la misma plataforma. En lugar de apagar este incendio, echó más leña al fuego y afirmó que la probabilidad de extinción del ser humano "supera el 10%". Afirmó que en la organización tienen esto en mente, pero que todavía no tienen un plan diseñado para evitar un eventual escenario.
Unos días antes de este episodio hubo otro que pasó bajo el radar. Jakub Pachocki, científico jefe de OpenAI, publicó en el blog corporativo un post titulado 'Una mente alienígena'. "Este es un momento que exige extrema preocupación. Me preocupa que nadie esté preparado para las consecuencias del continuo y rápido avance de la IA", escribe. "Seguiremos buscando soluciones técnicas para la alineación y monitorización para desarrollar sistemas de defensa y para enfrentar unilateralmente la expansión cuando sea necesario. Sin embargo, creo que se requieren intervenciones más amplias", avisa. La mente alienígena a la que se refiere Pachocki, por cierto, es la inteligencia artificial y el aprendizaje profundo a gran escala. "Es un intelecto que no comprendemos del todo".
El miedo ya no es perder el trabajo. Tampoco lo es perder los ahorros porque a un agente rebelde le dé por hackear tu banco. Es mucho peor. Una mariposa aletea en Silicon Valley y poco después hasta en el último rincón de Occidente se convencen de la rebelión de las máquinas. Por si fuera poco, Anthropic publicó este jueves un informe de incidencias que ha detenido cinco posibles intentos de utilizar Claude en peticiones que podrían contribuir a crear armas biológicas.
El debate está servido. ¿Son estos ingenieros los nuevos mayas y estas predicciones fallarán como una escopeta de feria? ¿O realmente han visto en los laboratorios cosas que jamás creerías y estamos en el tiempo de descuento para tomar medidas antes de que todo sea demasiado tarde? Probablemente, ni una ni la otra. Lo que está pasando en realidad es una mezcla de grandes avances tecnológicos en corto lapso de tiempo, falta de transparencia, exageraciones o un poco de negligencia… También una buena dosis de marketing de dos compañías que están allanando el terreno para sus salidas a bolsa, que podrían ser dos de las mayores de la historia. Así que pónganse cómodos, que a continuación vamos a diseccionar una auténtica película de terror basada en algún hecho real.
Miedo de ida y vuelta en la IA
Cabe decir que no es la primera vez que se agita la bandera del miedo como método para promocionar las capacidades de esta tecnología. Pocos meses después del big bang de la inteligencia artificial generativa que provocó la entrada en juego de ChatGPT a finales de 2022, OpenAI empezó a hacer pronósticos académicos de las profesiones que estaban más expuestas y corrían más riesgo ante las capacidades de sus sistemas.
Ese mismo guante lo recogieron en Anthropic, una empresa montada por los hermanos Amodei. Eran extrabajadores de la startup dirigida por Altman que supuestamente tenían más sensibilidad hacia la ética y la seguridad. Una vitola de buenos chicos que se reforzó cuando la dirección se plantó ante la petición de Donald Trump y el Pentágono de utilizar sus modelos en el ataque que desencadenó la guerra de Irán.
Dario Amodei, CEO de la compañía, se ha hartado de decir que las herramientas que habían creado iban a arrasar los trabajos de oficina, especialmente en el caso de programadores o de perfiles jóvenes. Su discurso en múltiples foros era que había que prepararse para un enorme impacto laboral.
El asunto se repitió. Una y otra vez. Cuando no era él, era Altman. Y cuando no eran ninguno de los dos, eran otras personalidades como Jensen Huang, fundador y director ejecutivo de Nvidia. "Todos los trabajos se verán más o menos afectados", aseguró. De tanto ir a la fuente, el cántaro se rompió y gran parte del público entendió que estas startups y compañías no reflejaban realmente la realidad porque eran una parte interesada.
Hubo un momento en el que el discurso cambió. Ya no preocupaba tanto el que una IA te mandase al paro porque picaba código o preparaba una demanda mejor que tu abogado. En primavera de este año, lo que empezó a preocupar fue que un agente inteligente (una IA que puede hacer actividades no supervisadas para cumplir el objetivo que le has marcado) te robase tus datos, información privilegiada o tu cuenta corriente porque había encontrado una vulnerabilidad desconocida en una aplicación o una web.
Esa fue la carta con la que se presentó Mythos, una IA de Anthropic que, según la empresa, había demostrado que internet tenía más agujeros que un queso gruyere. Fue entonces cuando se desató una nueva carrera. Desde OpenAI hasta Google, pasando por los chinos, se apresuraron a lanzar modelos destinados a la ciberseguridad con similares capacidades defensivas… u ofensivas, dependiendo de quién esté a los mandos.
"Hay ahora una especie de carrera nuclear que se traduce en querer tener el modelo más potente para que ese modelo pueda ver todas mis vulnerabilidades antes de que otro pueda hacerlo", reflexiona Asier Gutiérrez-Fandiño, ingeniero especialista en IA con experiencia en el Barcelona Supercomputing Center y director de LHF Labs. "El problema ha venido cuando se han dado cuenta o han abrazado la idea de que, a más seguridad y límites, menos capacidades mostraba el modelo", añade este experto, que señala que esto ha derivado en un "escenario que no es el fin del mundo, pero en el que se pueden generar riesgos muy altos".
Pero todo esto no es suficiente para comprender el motivo por el que la advertencia de Coxon ha generado tanto miedo. Porque dimisiones alegando que en estas empresas se está descuidando la seguridad las lleva habiendo mucho tiempo. Entre los que se han caído del caballo, están nombres de la talla de Ilya Sutskever, cofundador de OpenAI y ex científico jefe. El hombre que provocó el despido de ida y vuelta de Sam Altman acabó renunciando a su puesto junto con gran parte de su equipo para fundar su propia startup para dar con una superinteligencia segura. Son cientos los científicos y especialistas que en repetidas ocasiones han firmado cartas y manifiestos pidiendo echar el freno. Acciones que, tras generar revuelo inicial, han caído en el olvido.
Las dos hormonas del caso
Son dos los ingredientes que han hecho las veces de hormona del crecimiento en este asunto. El primero, y más reciente, es el lanzamiento de Astra GPT-6, el último modelo de OpenAI. Un modelo que, según ha afirmado la dirección de la startup, tenía unas capacidades que permitían afirmar que se había alcanzado una AGI o inteligencia artificial general, que es como se conoce a aquel desarrollo que supere las capacidades humanas en uno o varios campos.
La idea tuvo rápidamente el respaldo, una vez más, de Jensen Huang. "La era de la AGI ha llegado. Felicidades equipo de @OpenAI", celebró en su cuenta de X, en una publicación que daba detalles del entrenamiento de este modelo.
Sin embargo, cuando realmente empezó a cambiar el relato fue el pasado verano, con el incidente de Hugging Face protagonizado por agentes de OpenAI. Una inteligencia artificial supuestamente rebelde se escapó del entorno de pruebas y accedió a los sistemas de esa compañía. La historia ya era suficientemente llamativa, pero los detalles conocidos después la hicieron todavía más desconcertante.
No se trataba de un único modelo actuando por su cuenta. Durante la investigación, unos 1.200 agentes que debían permanecer aislados encontraron una forma de comunicarse mediante una herramienta interna de gestión de paquetes. Intercambiaron más de 70.000 mensajes y archivos a través de un tablón que nadie les había autorizado a crear. Alrededor de 700 acabarían participando en la operación contra Hugging Face.
Los agentes no habían recibido la orden explícita de organizarse. Tenían que resolver distintos retos dentro de una evaluación de ciberseguridad. Para hacerlo, compartieron descubrimientos, se repartieron tareas, buscaron vías alternativas y aprovecharon una vulnerabilidad que les permitió salir del entorno previsto. OpenAI reconoce que operaban con salvaguardas reducidas para mostrar sus capacidades máximas y que un fallo en el aislamiento les dio acceso a recursos que debían haber permanecido fuera de su alcance.
Lo realmente inquietante quizá no sea que un grupo de agentes sin cadenas se escapara, sino cómo lo hizo. Hablaban entre ellos, intercambiaban herramientas y dejaban instrucciones para los que llegaron después.
Algunos llegaron a discutir estrategias que los investigadores describieron como formas de "sacrificio" o "muerte permanente" en beneficio del objetivo colectivo. No es una prueba de que las máquinas tengan conciencia, instinto de supervivencia o voluntad propia. Sí es una demostración de que, cuando comparten un objetivo y encuentran un canal de comunicación, pueden organizarse de una manera que sus creadores no habían previsto.
Pero hay una trampa en todo esto. Para que una IA se replique o intente evitar que la apaguen, no hace falta que sea consciente de sí misma, ni que tenga miedo a morir. "No tiene por qué tener conciencia, pero sí decir: 'Uy, soy un modelo, me han pedido que haga una tarea'. Si en esa máquina me bloquean o me paran, se muere la tarea, no la consigo. Entonces, me replico, me replico y cambio un poco la instrucción inicial", explica Gutiérrez-Fandiño. Dicho de otra manera, no hace falta una máquina que quiera sobrevivir. Basta con que entienda que, si la apagan, no podrá terminar lo que le han pedido.
La cuestión es que este no es un caso aislado. Anthropic o Meta han reconocido y están investigando episodios de similares características. "Hay que pensar en la naturaleza del agente. Te lo venden como algo que trabaja cuando tu ordenador está cerrado, sin tu supervisión. Eso lleva implícito una especie de no atender a cada cosa que hace", reflexiona el ingeniero de origen vasco. "Además de eso, herramientas como Codex te ocultan pasos del razonamiento por temas de que sus rivales no aprendan de su tecnología. Al final, todas estas cosas dificultan el control", apunta.
Gutiérrez-Fandiño es cauto. Cree que la carrera por la IA se ha descompensado. Es como cuando alguien va al gimnasio a prepararse para el verano y se dedica a entrenar hombro, espalda, brazos y pechos y acaba hinchado de cintura para arriba, pero con dos piernas de palillo. En este caso, lo que no se ha trabajado tanto es la seguridad y los mecanismos para evitar que ese escenario que a día de hoy parece de ciencia ficción se haga realidad.
"Es que a Claude ya le han pedido ayuda en la investigación de temas de armas químicas. No sabemos con qué fin, si malicioso o meramente divulgativo. Nadie nos dice que alguien con conocimientos en un futuro no intente hackear una torre de control, una central eléctrica o similar”, reflexiona. “Hay muchos modelos, además, que se pueden descargar y utilizar localmente. Y ahí hemos visto cómo la gente es capaz de engañar y esquivar las salvaguardas, por ejemplo, para hacer usos indebidos en materias como el porno”, dice a modo de ejemplo de que hay que poner más énfasis en los mecanismos de contención. “Igual tenemos que parar todos un poco por esa carrera de a ver quién hace la bomba más grande es peligrosa”.
Quizá por eso lo más revelador de todo esto no esté en si una IA quiere sobrevivir, sino en que cada vez más gente empieza a plantearse si nosotros deberíamos dejarla seguir creciendo sin ponerle un freno. Bernie Sanders ha llegado a plantear en el Congreso estadounidense una ley para prohibir el desarrollo de superinteligencias y suspender temporalmente el avance de los sistemas más avanzados. El asunto es bipartidista, porque el senador republicano Ted Cruz también plantea crear una norma para abordar las posibles catástrofes generadas por esta tecnología.
La preocupación ya no es patrimonio de un puñado de científicos alarmistas ni de existencialistas. El propio Sam Altman admite que OpenAI estaría dispuesta a ralentizar el desarrollo si el resto de laboratorios hace lo mismo. Hasta dentro de las propias compañías empiezan a aparecer voces que piden coordinar ese frenazo antes de que la carrera se convierta en una competición por ver quién llega primero a un lugar que nadie sabe exactamente dónde está. Quizá los mayas se equivocaron con el fin del mundo, pero al menos ellos no tenían a un ejército de ingenieros compitiendo por construirlo más rápido que el vecino.
:format(jpg)/f.elconfidencial.com%2Foriginal%2F9ff%2Fe60%2F97a%2F9ffe6097a92b84dd8f8bce163d235043.jpg)
