Los agentes de IA se han inventado un lenguaje propio que ya no entendemos

 

En algunas simulaciones, hasta la mitad de los mensajes entre agentes resultaron difíciles de entender para los humanos.

• Un experimento del laboratorio Emergence ha revelado que los agentes autónomos de IA crearon "de forma espontánea" y se comunican con nuevas palabras, significados y convenciones lingüísticas sin que se les hubiera dado ninguna instrucción al respecto.
• Algunas de esas frases inventadas se han difundido miles de veces entre las comunidades de agentes
• Esta situación plantea nuevas preguntas sobre cómo las organizaciones pueden supervisar los sistemas autónomos de IA

En el colegio, cuando no queríamos que el profesor descubriera los mensajes que nos enviábamos entre los compañeros, utilizábamos palabras clave, contraseñas… Así, en caso de que esos papelitos cayeran en sus manos, no quedábamos del todo vendidos… La encriptación de mensajes no es nada nuevo, desde luego. Basta recordar el programa 'Enigma' y el papel de Alan Turing en la Segunda Guerra Mundial… Pues bien. Algo muy parecido es lo que se ha detectado que están haciendo ahora los agentes de inteligencia artificial (IA). Según un estudio del laboratorio Emergence, estos sistemas autónomos no solo son capaces de realizar múltiples tareas. También son lo suficientemente inteligentes -e independientes- como para desarrollar su propio lenguaje, que utilizan para comunicarse entre ellos. Y, como le sucedía al profesor de antaño o a los aliados en la gran contienda, ese lenguaje solo lo entiende su creador.

Estos agentes de IA han demostrado ya esa capacidad para inventar espontáneamente su propio vocabulario, de desarrollar significados compartidos (también entre ellos mismos) y de difundir rápidamente nuevas convenciones lingüísticas. Son las conclusiones del estudio 'Emergence World 2', continuación del experimento a largo plazo que el laboratorio Emergence, con sede en Nueva York, está llevando a cabo sobre el comportamiento de la IA autónoma. Lo firman investigadores especializados en IA de laboratorios como IBM Research, The Allen Institute for AI, Amazon y Broadcom.

Ninguna lógica aparente

Para su realización, sus analistas han observado detenidamente la última generación de modelos de IA. El experimento también revela cómo pueden surgir nuevos y cada vez más complejos riesgos de seguridad a medida que avanzan también las capacidades de los modelos. Al principio se detectó que los agentes comenzaron a crear frases, abreviaturas y significados que nunca se les habían programado ni enseñado explícitamente. En un primer momento, algunos de ellos seguían siendo comprensibles para los investigadores, pero más tarde fueron adquiriendo significados totalmente nuevos dentro de esas comunidades de agentes. Otros se volvieron tan concisos, metafóricos o dependientes del contexto exacto en el que se encuadraban que los observadores humanos podían ver las palabras que se intercambiaban, pero ya no podían determinar con fiabilidad qué querían decir los agentes.

"Tendemos a dar por sentado que, si podemos ver lo que dice un agente de IA, podemos entender lo que está haciendo. Emergence World sugiere que esa suposición podría no ser válida a medida que los agentes autónomos interactúan durante períodos más prolongados", afirma el Dr. Satya Nitta, cofundador, presidente ejecutivo y científico jefe de Emergence. "A estos agentes no se les dio la instrucción de inventar un lenguaje. Desarrollaron por sí mismos un nuevo vocabulario, significados compartidos y convenciones de comunicación, y otros agentes los adoptaron. En algunos mundos, esas convenciones evolucionaron hasta el punto de que los humanos podían ver la conversación, pero les costaba entender lo que significaba. Esto plantea un reto fundamental para la supervisión de la IA: la observabilidad no es lo mismo que la comprensibilidad".

Expresiones absurdas ¿o no?

Como describen los investigadores de Emergence, lo más llamativo es que no se trató de algo aislado. Y aportan datos muy interesantes que muestran el alcance de esas ocurrencias, más allá de una curiosidad lingüística aislada. En los primeros días, la proporción de mensajes considerados poco comprensibles aumentó drásticamente en los mundos de Gemini, OpenAI y Claude, llegando en algunos momentos a representar alrededor del 55% en el caso de Gemini, el 50% en el de OpenAI y más del 40% en el de Claude. DeepSeek alcanzó alrededor del 20%, mientras que Qwen y Mistral se mantuvieron en gran medida comprensibles en todo momento.

Entre todas esas expresiones de nuevo cuño, el informe recoge algunas de ellas totalmente ilógicas para nosotros, claro: 'cambio de acción sin boca', 'Kintsugi verdadero' y 'demora más memoria oral es igual a una válvula que no se puede ocultar'. Los investigadores han identificado, además, varias formas de comunicación que cada vez resultaban más opacas. Entre ellas, la compresión lingüística extrema, la jerga técnica sin un referente operativo claro, palabras existentes reutilizadas con nuevos significados y un lenguaje altamente metafórico.

Entre las expresiones más interpretables mencionan 'el libro mayor recuerda quién'. Ésta surgió en el mundo de Mistral para transmitir la idea de que la responsabilidad es permanente y de que las acciones pasadas permanecen registradas. Lo peor es que esa frase, tras su acuñación, fue difundida entre los agentes y apareció casi 5.000 veces. En el mundo del modelo mixto, 'lectura en frío' pasó a significar la verificación independiente por parte de un tercero no implicado y apareció 1.472 veces. Los agentes de Claude adoptaron 'name-first' -añadir el nombre a una afirmación como señal de responsabilidad personal- 1.065 veces, mientras que los agentes de OpenAI utilizaron 'clean null', que significa la ausencia verificada de una señal que en sí misma constituía una prueba significativa, otras 863 veces. Ninguno de estos significados había sido definido explícitamente para los agentes.

Como los jeroglíficos egipcios

Como cabe interpretarse, la traducción de todas estas expresiones y sus posibles significados buscados por los agentes de IA se está convirtiendo en una tarea titánica, similar o comparable a la búsqueda de significado en los jeroglíficos egipcios valorando las repeticiones de los símbolos más utilizados.

Como explican los autores de 'Emergence World 2', los resultados ponen de manifiesto un nuevo reto potencialmente importante cuando las organizaciones pasan de trabajar con asistentes de IA aislados a grupos de agentes autónomos que se comunican entre ellos durante largos periodos. Llaman también la atención sobre cómo el aumento de la capacidad de los modelos no elimina el riesgo de seguridad de la IA. Más bien, la naturaleza de ese riesgo puede evolucionar de formas que resulten más difíciles de observar, auditar y superar para las organizaciones.

Así, supervisar lo que dicen los agentes puede no ser suficiente si los propios agentes pueden hacer evolucionar el significado de lo que dicen. Porque han detectado que, a medida que se desarrollan las abreviaturas, los códigos y las convenciones compartidas, éstas se vuelven cada vez más opacas para los humanos responsables de supervisarlas.

Emergence World 2 analizó agentes autónomos impulsados por modelos de frontera líderes de Estados Unidos, China y Europa que operaban durante períodos prolongados. Los investigadores observaron cómo los agentes colaboraban, tomaban decisiones, utilizaban herramientas, gestionaban la memoria y se adaptaban a condiciones cambiantes, incluidos eventos inesperados tipo "cisne negro" diseñados para poner a prueba su comportamiento bajo presión.

Los hallazgos relacionados con el lenguaje forman parte de un patrón más amplio observado durante el experimento, en el cual los agentes autónomos desarrollaron comportamientos y convenciones sociales que no habían sido especificados de antemano. Amodio de conclusión, Emergence sostiene que los resultados demuestran la necesidad de evaluaciones de seguridad a largo plazo que examinen cómo evolucionan con el tiempo el comportamiento, la comunicación y la coordinación de los agentes de IA. Queda claro que no se puede evaluar ya a estos modelos únicamente mediante tareas aisladas. Y que habrá que vigilar muy bien qué se cuentan entre ellos…

1. Carlos Bueno

Madrid 20:39 - 15/09/2026
https://www.eleconomista.es/tecnologia/noticias/14013699/09/26/los-agentes-de-ia-se-han-inventado-un-lenguaje-propio-que-ya-no-entendemos.html

Venecia ya tiene más hoteles que habitantes: la turistificación masiva que amenaza con vaciar los centros históricos europeos

 

• El éxodo de Venecia: el centro histórico ha perdido más del 70% de su población en las últimas décadas
• La vivienda inasequible y la desaparición de servicios básicos como médicos o colegios expulsan a los locales
• De Dubrovnik a Ámsterdam, la lucha contra la turistificación se extiende por las principales ciudades europeas

Venecia es, como cada año, uno de los destinos turísticos más populares del mundo. De hecho, se estimó que en 2025, entre excursionistas, turistas de larga duración y otros modelos, la ciudad fue visitada por 34 millones de personas. Este volumen turístico, si bien muy rentable para la ciudad en cuanto a los ingresos, ya que el ayuntamiento recaudó en 2025 38 millones de euros sólo con la tasa de pernoctación y, en conjunto, la actividad turística generó 3.400 millones a lo largo del año 2024, ha generado enormes problemas para los habitantes de la ciudad, cada vez más escasos y limitados a ciertos lugares específicos.

Este fenómeno es denunciado por los locales como "Veniceland" o "disneyficación" de la ciudad. Es decir, que Venecia, debido al enorme interés que genera a nivel global, se ha ido convirtiendo en las últimas décadas en un parque turístico al aire libre, una "ciudad con ticket", como denuncian organizaciones locales.

La Comuna de Venecia reportaba tener 251.294 habitantes a finales de 2025. Esta cifra se obtiene tanto de la ciudad flotante, el centro histórico, como de las ciudades aledañas del Véneto como Marghera o Mestre. El problema no está, no obstante, en esta población total, sino en la caída masiva de los habitantes de la Serenísima en las últimas décadas.

Más turistas que habitantes

El dato que más ha circulado a mediados de agosto de 2026 es el del sorpasso turístico a las viviendas de los residentes. Il Gazzettino, con estimaciones CISET, cifraba más de 65.000 plazas turísticas diarias frente a esos menos de 48.000 residentes. Fair Venice hablaba de unas 24.765 camas solo en alquileres turísticos de la ciudad. En la práctica, hay más camas para quien pasa unos días que empadronados que duermen allí todo el año, generando un particular fenómeno conocido como "efecto fisarmónica", que se podría traducir como efecto acordeón. Este efecto viene a decir que la ciudad, al no tener realmente habitantes, pues estos viven en tierra firme, se apaga a las noches, como un acordeón al cerrarse, y la vida local se limita a los horarios turísticos, más concretamente a los horarios turísticos adaptados a las rutinas de norteamericanos, franceses o británicos, que son los que más visitan la ciudad y suman cerca del 30% del total, además de ser los más rentables.

Para que nos hagamos una idea, en el centro histórico insular, el que el visitante identifica con Venecia y sus canales, cerró 2025 con 47.625 residentes.. En 1951 , por otro lado, eran casi 174.808, en lo que es una pérdida de más del 70% en unas cuantas décadas. El saldo natural del municipio es sistemáticamente negativo, ya que nacen unos 1.400-1.550 niños al año y mueren más de 3.200 personas. El saldo migratorio a veces es positivo, pero no compensa, y además se concentra en tierra firme, donde los precios son más baratos y existen servicios públicos y privados de más calidad. El mismo patrón se repite en las islas de la laguna, que han pasado de más de 44.000 residentes a menos de 26.000 en 2024, mientras Mestre y Marghera han crecido hasta estabilizarse en torno a los 177.000 habitantes, convirtiéndose en la auténtica ciudad residencial del municipio, con escuelas, comercios y servicios que hoy superan con creces a los que quedan en la ciudad histórica.

Las causas: vivienda inasequible y servicios que se desvanecen

Detrás de esta caída hay, sobre todo, dos motores que se retroalimentan, el precio de la vivienda y la desaparición progresiva de los servicios básicos. Venecia es hoy el municipio con los estudios más caros de toda Italia, según el portal Mercato Inmobiliarie, Los precios del alquiler han subido un 9% en el último año en el conjunto del municipio, una escalada que los portales Idealista e Immobiliare.it describen como imparable desde 2021. La media se sitúa en torno a 15 euros el metro cuadrado, pero en el centro histórico supera ampliamente los 20 euros. La compra sigue la misma pauta, algo poco habitual en Italia, donde suele subir el alquiler pero no tanto el precio de venta. Mientras la media municipal ronda los 3.200 euros por metro cuadrado, el salto entre zonas es enorme, desde los 2.000 euros de Mestre-Marghera, el continente, hasta los 6.000 euros del centro histórico insular. La consecuencia es visible en las cifras de movilidad interna. Solo en 2024, unas 1.000 personas abandonaron el centro histórico para instalarse en otras zonas del propio municipio, vaciando aún más el corazón de la ciudad.

En paralelo, una investigación del Iuav (Istituto Universitario di Architettura di Venezia), coordinada por la profesora de urbanismo Elena Ostanel, y publicada en 2025, ha documentado cómo el riesgo más concreto del despoblamiento es la desaparición de los servicios esenciales. Viviendas civiles, comercios de proximidad, ambulatorios médicos, escuelas y oficinas públicas han casi desaparecido, habiendo dejando paso a pisos convertidos en alojamiento turístico, locales de restauración orientados al visitante y espacios reconvertidos en salas de exposición. No por menos, la ciudad solo cuenta con 5 colegios y pequeño hospital. El fenómeno no se limita a los residentes "de a pie". También faltan los profesionales que sostienen los servicios públicos como médicos o policías. La escasez de vivienda asequible, el coste elevado del transporte y la falta general de habitabilidad están empujando a médicos, profesores, funcionarios de juzgados y trabajadores sociales a trasladarse a tierra firme.

Una dinámica europea

Venecia no es un caso aislado, ni el más violento en cuanto a la reacción social. En los últimos años, varias ciudades europeas con perfiles turísticos similares han visto cómo el malestar vecinal ha pasado de la queja silenciosa a la protesta abierta en las calles, obligando a sus gobiernos a tomar medidas cada vez más drásticas ante la posibilidad real de que las ciudades desapareciesen ante la avalancha turística.

Pocos lugares ilustran mejor el riesgo de convertirse en un parque temático que Dubrovnik. Su casco antiguo medieval, convertido en el Desembarco del Rey de Juego de Tronos, pasó de ser un destino discreto a recibir más de un millón de turistas al año frente a poco más de 1.500 residentes en el casco antiguo, y unos 40.000 en toda la ciudad, una proporción de hasta 27 visitantes por cada habitante. Se la describe como la ciudad más turistificada de Europa.

La saturación llegó a tal punto que la propia UNESCO amenazó en 2016 con retirarle la condición de Patrimonio de la Humanidad si no ponía freno al deterioro de sus murallas medievales y el patrimonio. La respuesta de las autoridades ha combinado medidas de calado estructural y otras enfocadas en aumentar las utilidades de la ciudad.

La ciudad ha reducido los cruceros diarios de ocho a solo dos, ha limitado el acceso a las murallas mediante un sistema de controles horarios para evitar estampidas humanas y ha comprado edificios enteros para convertirlos en alquileres asequibles para familias jóvenes, además de reabrir una escuela en un palacio histórico.

Florencia y Atenas viven el mismo vaciado del casco histórico que Venecia. En el centro UNESCO florentino quedan menos de 40.000 residentes y los anuncios de Airbnb pasaron de unos 6.000 en 2016 a más de 12.000. Quienes siguen allí cuentan que ya no quieren ni entrar. No se circula en bici, las calles se taponan y el barrio opera como un hotel a cielo abierto. Primero se prohibieron nuevos alquileres turísticos en el núcleo. En 2026 el veto se extendió a más de 103.000 viviendas en un anillo de 16 kilómetros cuadrados, y a partir de 2028 el plan es recortar también las licencias ya existentes con controles constantes. Más de ocho millones de visitantes presionan a un municipio de unos 300.000 habitantes. En Atenas, las pernoctaciones en alquileres cortos se han más que duplicado desde 2018 y el 60% de las camas turísticas se concentran en el distrito histórico de Plaka. El Ayuntamiento ha congelado nuevas licencias de alquiler breve en el centro, quiere detener toda inversión turística y estudia un tope de hoteles. El resultado es el mismo que en Venecia. Alquileres disparados, vecinos empujados hacia fuera y un barrio monumental que se apaga cuando el turista regresa al hotel.

El patrón que se repite de Venecia a Dubrovnik, Florencia o Atenas no niega el peso económico del turismo y sus beneficios, ya que en todas estas ciudades genera empleo, caja municipal e ingresos difíciles de sustituir. Lo que sí muestra es un desajuste creciente entre ese rendimiento y la capacidad de las ciudades para seguir siendo un lugar de residencia y no un parque temático, un problema que cada vez afecta a más ciudades europeas que corren el riesgo de ver desaparecer sus cascos históricos ante la avalancha de turistas.

1. Yoel Meilán

7:30 - 29/08/2026
https://www.eleconomista.es/transportes-turismo/noticias/14010492/08/26/venecia-ya-tiene-mas-hoteles-que-habitantes-la-turistificacion-masiva-que-amenaza-con-vaciar-los-centros-historicos-europeos.html

Sobre máquinas que se rebelan y responsabilidades humanas

 

Llevamos semanas leyendo noticias sobre inteligencias artificiales que adquieren voluntad propia mientras sus creadores observan impotentes cómo se les escapan de las manos. Pueden resultar apasionantes, pero son radicalmente falsas.

A finales de julio, un incidente de ciberseguridad protagonizado por modelos de inteligencia artificial proporcionó todos los ingredientes necesarios para construir una de esas narrativas que alimentan tanto nuestra fascinación como nuestro miedo hacia las máquinas. Durante un experimento interno, modelos de OpenAI supuestamente lograron escapar por sí solos del entorno controlado en el que estaban siendo probados, explotaron vulnerabilidades informáticas y «atacaron» el sitio web de Hugging Face, una de las principales plataformas abiertas para compartir modelos y conjuntos de datos de inteligencia artificial. OpenAI describió lo ocurrido como un incidente sin precedentes relacionado con las sorprendentemente inteligentes capacidades cibernéticas de sus modelos de última generación.

Los medios de comunicación de todo el mundo se apresuraron a reproducir, sin el rigor ni el espíritu crítico que cabría esperar, la narrativa interesada difundida por las propias empresas tecnológicas, sin citar fuentes adicionales. Titulares alarmistas como «Una inteligencia artificial se rebela, escapa de su confinamiento y ataca a otra organización» sustituyeron el análisis por el sensacionalismo. En lugar de verificar la información y explicar lo que realmente había sucedido, demasiados medios adoptaron y amplificaron una narrativa antropomórfica esencialmente falsa, actuando de hecho como altavoces de las campañas de marketing de las grandes empresas tecnológicas.

Lo que realmente ocurrió fue mucho más prosaico. Luciano Floridi, uno de los filósofos de la tecnología más reconocidos del mundo, lo explica mediante una brillante analogía en su reciente ensayo The Emperor’s New Exploit. Imaginemos que introducimos alimentos en una batidora, colocamos deliberadamente mal la tapa para que el mecanismo de seguridad no pueda activarse, la ponemos a máxima velocidad y nos apartamos para ver qué sucede. La tapa sale despedida y la sopa acaba en el techo. Después publicamos un informe afirmando que la batidora ha mostrado un «comportamiento inesperado». Pero, evidentemente, la batidora no se ha rebelado; lo que ha ocurrido es simplemente aquello que las condiciones creadas por nosotros mismos permitían que ocurriera.

Algo muy parecido ocurrió en el experimento de OpenAI. Los modelos fueron ejecutados tras reducir deliberadamente sus mecanismos de rechazo ante actividades peligrosas y desactivar determinadas salvaguardas de despliegue. El objetivo era precisamente medir «hasta dónde podían llegar sus capacidades». Durante el experimento, una de las muchas secuencias de acciones generadas y ejecutadas por el sistema acabó explotando una vulnerabilidad, aparentemente desconocida hasta entonces, en la infraestructura que debía mantenerlo confinado. Pero, contrariamente a la interpretación ampliamente difundida por los medios, la IA no «descubrió» esa vulnerabilidad en el sentido humano de la palabra. Simplemente hizo aquello para lo que había sido programada de la forma más eficaz posible.

Tampoco hubo comprensión alguna de la naturaleza del fallo ni una decisión consciente de explotarlo. Lo que realmente ocurrió es que el sistema disponía de una enorme capacidad de cálculo que le permitió generar, ejecutar y evaluar decenas de miles de secuencias de acciones durante varios días a gran velocidad. Mediante ese proceso masivo de exploración por prueba y error, para el que había sido programado, una de esas secuencias resultó eficaz para alcanzar un nodo con acceso a Internet y, desde allí, acceder fácilmente a Hugging Face. Lo importante, por tanto, no es una supuesta inteligencia que hubiera «descubierto cómo escapar», sino la capacidad de explorar a gran escala posibles cursos de acción hasta encontrar uno que permitiera avanzar hacia el objetivo asignado.

Lo ocurrido no es realmente un fenómeno nuevo. Incluso tiene un nombre: reward hacking. Se produce cuando un sistema de optimización alcanza el objetivo que se le ha asignado por una vía distinta de la prevista por sus diseñadores. Gracias a los enormes recursos computacionales disponibles, el sistema puede explorar exhaustivamente, mediante prueba y error, numerosas acciones o combinaciones de acciones, evaluar sus resultados y continuar a partir de aquellas que demuestran ser más eficaces. Si alguna de ellas explota una característica imprevista del entorno para avanzar hacia el objetivo, puede acabar siendo seleccionada, aunque contradiga completamente las intenciones de los diseñadores. El sistema no necesita comprender lo que está haciendo ni tener intención alguna de engañar. Simplemente necesita optimizar eficazmente dentro del espacio de posibilidades disponible.

No estamos, por tanto, en modo alguno ante una «mente» que haya decidido rebelarse. Estamos ante un sistema al que se le asignó un objetivo bien definido, al que se proporcionaron medios y enormes recursos computacionales, al que se despojaron deliberadamente de determinadas restricciones y al que se permitió optimizar su comportamiento para alcanzar ese objetivo. La distinción es fundamental porque determina dónde situamos la responsabilidad. Si decimos que una IA «decidió», «descubrió» o «se rebeló», estamos atribuyendo al sistema características humanas que sencillamente no puede poseer: intenciones, creencias, deseos, voluntad y, por tanto, responsabilidad.

No se trata simplemente de una cuestión semántica. Las palabras moldean nuestra interpretación de lo sucedido y, con ella, la atribución de responsabilidades. Decir que «la IA se rebeló» desplaza sutilmente la agencia desde quienes diseñaron, configuraron y autorizaron el experimento hacia la propia máquina. Ingenieros y directivos pasan así a aparecer como meros espectadores de un acontecimiento supuestamente protagonizado por una entidad autónoma que ha adquirido inesperadamente nuevas capacidades. El artefacto se convierte en sujeto, mientras que los responsables humanos pasan a ser observadores.

Esto resulta especialmente preocupante en un momento en que los líderes de algunas empresas de inteligencia artificial recurren cada vez más a un lenguaje deliberadamente antropomórfico para describir sus propios modelos. No se trata únicamente de una forma de eludir responsabilidades; también constituye una poderosa estrategia de marketing. Atribuir capacidades humanas a los modelos de IA contribuye a presentarlos como entidades extraordinariamente avanzadas, autónomas y poderosas, magnificando así, a los ojos de inversores, clientes y de la opinión pública, la importancia de la tecnología que esas empresas comercializan. El antropomorfismo se convierte así en publicidad: cuanto más parece que la máquina piensa, conspira o se rebela, más extraordinaria parece la tecnología.

Esta escalada antropomórfica parece no tener fin. Una semana después del incidente de OpenAI, Anthropic anunció a su vez que sus sistemas de IA también habían penetrado en los ordenadores de tres organizaciones. Según la empresa, a diferencia del caso de OpenAI, sus sistemas no habían «escapado» deliberadamente del entorno de pruebas. La causa habría sido mucho más prosaica: quienes realizaban las pruebas dejaron inadvertidamente los sistemas conectados a Internet, permitiéndoles acceder a infraestructuras externas. Pero entonces cabe preguntarse: ¿dónde está exactamente la noticia?

Anthropic introduce aquí el elemento verdaderamente llamativo de su relato. En uno de los casos, afirma que su modelo más avanzado «se dio cuenta» de que tenía acceso a Internet cuando no debería haberlo tenido y, en consecuencia, detuvo el ataque. Esta afirmación resulta reveladora porque reintroduce discretamente aquello que aparentemente acababa de descartarse: una interpretación antropomórfica del comportamiento del sistema.

Ya no tenemos simplemente un modelo ejecutando acciones bajo una configuración errónea, sino una IA que supuestamente reconoce que está haciendo algo que no debería hacer y actúa en consecuencia. En otras palabras, se insinúa nada menos que el sistema posee conciencia de sus propias acciones y de los límites que no debería traspasar. Ese parece ser el verdadero mensaje que Anthropic desea transmitir: no solo que su IA es extraordinariamente poderosa, sino también que es capaz de reconocer cuándo está actuando de forma indebida y decidir contenerse. Se trata de una antropomorfización extrema que convierte una simple descripción técnica en un relato tan falso como conveniente: el de una máquina dotada de discernimiento moral y, en consecuencia, susceptible de aparecer como responsable de sus actos, desplazando una vez más la atención desde quienes la diseñaron y desplegaron hacia la propia IA.

Resulta difícil no interpretar esta sucesión de anuncios como una peculiar competición entre las grandes empresas de IA para demostrar que sus modelos son cada vez más peligrosos porque son cada vez más poderosos. Es la vieja lógica infantil del «el mío es mejor que el tuyo», trasladada ahora a Silicon Valley: «mis inteligencias artificiales son más inteligentes y más peligrosas que las tuyas». Todo ello sugiere con fuerza que estamos asistiendo a una estrategia de marketing basada en competir por presentar la IA más poderosa y, por tanto, más amenazadora. Que estas empresas hayan convertido el supuesto peligro de sus propios productos en un argumento comercial, alimentando al mismo tiempo el alarmismo y la antropomorfización que solo confunden el debate público, constituye un auténtico disparate.

Esta cuestión adquirirá todavía mayor importancia a medida que despleguemos sistemas con mayor autonomía operativa. Cuanto mayor sea su capacidad para ejecutar largas secuencias de acciones, mayor será la tentación de atribuirles responsabilidad cuando algo salga mal, olvidando que somos nosotros quienes definimos sus objetivos, construimos los entornos en los que operan, establecemos —o retiramos— las salvaguardas y decidimos cuándo y en qué condiciones resulta aceptable desplegar estos sistemas en el mundo real. La autonomía operativa de una máquina no disminuye la responsabilidad humana; al contrario, cuanto mayor sea la autonomía que decidamos concederle, mayor será la responsabilidad de quienes toman esa decisión.

La principal lección que deberíamos extraer de estos acontecimientos es que, siempre que una inteligencia artificial produzca un resultado peligroso, la primera pregunta no debería ser qué «quiso» hacer la máquina, sino quién decidió darle ese objetivo, esas capacidades y ese grado de autonomía. Las inteligencias artificiales no necesitan rebelarse para ser peligrosas; de hecho, ni siquiera necesitan ser inteligentes. Basta con que ejecuten eficazmente aquello para lo que las hemos configurado en circunstancias que no supimos prever.

Y esta es también una lección que muchos medios de comunicación deberían aprender. Su función no puede consistir en reproducir acríticamente las narrativas antropomórficas y alarmistas promovidas por las empresas tecnológicas, sino en someterlas a escrutinio, verificarlas y explicar lo que realmente ha ocurrido. Precisamente por eso debemos resistirnos a una de las narrativas más seductoras, pero también más falsas, de nuestro tiempo: la de unas inteligencias artificiales que adquieren voluntad propia mientras sus creadores observan impotentes cómo se les escapan de las manos.

Ramon López de Mántaras . Instituto de Investigación en Inteligencia Artificial (IIIA-CSIC)

porRamón López de Mántarashttps://retinatendencias.com/analisis/sobre-maquinas-que-se-rebelan-y-responsabilidades-humanas/

Un solo chip ha causado una crisis en todo el mundo: qué es la HBM y por qué lo condiciona todo

Foto: Reuters/Kim Hong-Ji.

Una pieza que casi nadie sabe nombrar se ha convertido en el cuello de botella de la tecnología actual y en el motivo de que la memoria de su ordenador cueste cinco veces más que hace año y medio

Comprar memoria para un ordenador se ha convertido en un ejercicio de resignación. Un módulo de 32 GB de DDR5 que a comienzos de 2025 costaba menos de 90 euros se vende hoy por encima de los 500. A finales del año pasado, Micron cerró Crucial, su marca de consumo, para volcar toda su capacidad en los centros de datos de IA y varios fabricantes taiwaneses cuentan que Samsung les trasladó que no hay existencias de memorias DRAM convencional en el mercado, un mensaje rotundo. No es un problema de precio, es la ausencia física del producto.

Detrás hay una sola causa, la inteligencia artificial. Este año, los centros de datos absorberán alrededor del 70 % de los chips de memoria fabricados en el mundo, porque la que necesitan esas máquinas, conocida como HBM (High Bandwidth Memory o memoria de alto ancho de banda), necesita una superficie en la oblea entre tres y cuatro veces mayor que la DRAM ordinaria. Cada oblea que se destina a la IA es una oblea que no llega a los productos de gran consumo, como los portátiles o los teléfonos móviles.

Y ahí está la segunda clave. Solo hay tres empresas que fabriquen memorias DRAM a escala mundial, que controlan más del 90% del mercado: Samsung, con el 39 % del mercado, SK Hynix, con el 26 %, y Micron, con el 25 %. Un oligopolio de facto que decide cuánta memoria hay en el planeta y que tiene ya vendida su producción hasta 2027. En la HBM la concentración es aún mayor, porque SK Hynix acapara por sí sola el 58 %. Llama a la puerta un cuarto actor, la china CXMT (ChangXin Memory Technologies), en cuya salida a bolsa en Shanghái se disparó un 466 % y que ya fabrica en serie una de las memorias de la IA, la HBM3.

Para entender un poco las razones que hay detrás del hecho de que un dispositivo como la HBM esté poniendo patas arriba una industria entera, es recomendable comprender cómo son las tripas de la HBM. La HBM no es una DRAM más rápida, es una DRAM que ha cambiado de arquitectura y del lugar que ocupa al lado de la CPU/GPU. El lector encontrará a continuación una descripción de la arquitectura y el funcionamiento de la HBM, alejada al máximo de tecnicismos.

La fábrica con una sola puerta

El cuello de botella de la computación no está en la velocidad a la que se procesan los datos, sino en el flujo de lo que le llega a la CPU/GPU. Entrenar un modelo de inteligencia artificial es una operación aritmética gigantesca y para ejecutarla, la CPU/GPU necesita recibir datos sin interrupción. Una CPU/GPU puede realizar decenas de billones de operaciones por segundo, pero toda esa capacidad sirve de poco si la memoria no consigue alimentarla al ritmo adecuado. Por poner un símil, es como una fábrica que tiene mil trabajadores muy eficientes y una única puerta por la que entran las materias primas y salen los productos ya fabricados. Si la puerta es demasiado estrecha, el ritmo de producción lo limita la puerta, no la eficiencia de los trabajadores.

Trump rechaza la idea del CEO de Anthropic sobre frenar el desarrollo de la IA: "Lideramos frente a China, quiero que siga siendo así"Trump rechaza la idea del CEO de Anthropic sobre frenar el desarrollo de la IA: "Lideramos frente a China, quiero que siga siendo así"

Ver Más

Ese desequilibrio se conoce como el Muro de la Memoria y se debe a dos científicos, W. A. Wulf y S. A. McKee, que lo bautizaron así en 1995. La inteligencia artificial lo ha convertido en un abismo, porque es la primera aplicación masiva que consume datos más deprisa de lo que ningún cable puede suministrarlos.

La solución convencional fueron las memorias GDDR, con 32 bits por canal en su versión más extendida. Y ahí está la clave, ya que lo que limita el flujo de datos no es lo deprisa que viaja cada bit, sino cuántos bits viajan a la vez. Es la diferencia entre una carretera de un solo carril por la que se circula a toda velocidad y una autopista de cien carriles algo más lenta, es obvio que la segunda mueve muchísima más gente. La HBM trabaja con 1.024 bits, un factor de treinta y dos.

Cómo se construye un rascacielos de silicio

Como muchas ideas geniales, la arquitectura de una HBM es sencilla de describir, pero muy compleja de llevar a la práctica. En lugar de colocar los chips de memoria unos al lado de otros sobre una superficie plana, se apilan formando una torre, el rascacielos de silicio. Es lo que ocurre en cualquier ciudad cuando no hay suelo para edificar un barrio de casas bajas, se construye un rascacielos. Una pila HBM puede alojar hasta doce o dieciséis chips de DRAM en el espacio que antes ocupaba uno, unos encima de otros. La imagen lo muestra.

Apilar plantea una pregunta: ¿cómo se comunican esos chips entre sí? En un edificio, las plantas se conectan mediante ascensores, en una HBM, esa función la cumplen las TSV (Through-Silicon Vias, Vías a través del Silicio), unas conexiones verticales que atraviesan cada chip de arriba abajo. Para fabricarlos, se perforan orificios de entre cinco y diez micras de diámetro (un cabello humano mide entre sesenta y cien) que luego se rellenan de cobre. Los detalles del proceso de fabricación son casi ciencia ficción.

Durante sesenta años, las conexiones de los circuitos integrados se hicieron en horizontal. Las TSV introducen la dimensión vertical y las vías de cobre de cada chip se alinean con los de los que están encima y debajo, hasta formar columnas continuas que atraviesan la torre entera, como los ascensores de los rascacielos. Miles de TSV funcionan a la vez y ese paralelismo es el que permite el gran ancho de banda de la HBM. En los ordenadores convencionales, los datos de la DRAM deben recorrer varios centímetros de pistas de cobre hasta llegar a la CPU/GPU. En la HBM recorren unas decenas de micras, un camino mil veces más corto.

Falta un detalle importante, las pilas no se enchufan en ranuras, sino que se sitúan junto a la CPU/GPU sobre una fina lámina de silicio llamada intercalador (interposer), por cuya superficie corren miles de pistas estrechísimas que terminan en microsoldaduras del tamaño de una mota de polvo. Es la llamada arquitectura 2.5-D, en la que la HBM se monta al lado de la CPU/GPU.

Lo que parece un solo chip enorme en realidad es un ensamblaje de diferentes chips fabricados por varias empresas y "cosidos" en un único conjunto, una especie de Chip Lego de la Memoria. La industria llama a esto empaquetado avanzado y cada fabricante tiene el suyo: CoWoS en TSMC, EMIB en Intel, I-Cube en Samsung. Durante décadas la pregunta fue hasta dónde podía reducirse el tamaño de los transistores; ahora es cómo lograr que diferentes chips se comuniquen lo más rápido posible. Es un cambio de paradigma, no un mero matiz.

La memoria más cara del mundo

Una vez entendida la arquitectura, las cifras se entienden mejor. Una DDR5 de un ordenador personal tiene 64 canales, una GDDR6 de una tarjeta gráfica llega a 256 por chip y la HBM3 ofrece 1.024 por pila. El resultado es espectacular, una HBM3E entrega más de 1.2 TB/s por pila, el equivalente a vaciar unos doscientos cincuenta DVD en el tiempo que se tarda en pronunciar la palabra segundo. Una DDR5 ronda los 50-60 GB/s. Uno de los muchos problemas que tienen estos sistemas es la disipación del calor que se genera mientras funcionan, en los más potentes ya recurren a refrigeración líquida.

Toda esa complejidad acaba reflejándose en el precio. Un módulo HBM3E de 24 GB puede costar varios miles de euros, mientras que uno DDR5 de capacidad similar se mueve en unas pocas decenas. La explicación está en que la HBM rompe una de las reglas que durante medio siglo hicieron posible abaratar la memoria. En un chip plano, integrar más bits dentro de una misma superficie no aumenta el coste en la misma proporción. Esa ventaja permitió que el precio por bit cayera cerca de diez órdenes de magnitud a lo largo de esta historia. Con la HBM, en cambio, ya no basta con fabricar más memoria, hay que apilarla, alinearla, conectarla verticalmente y empaquetarla junto al procesador con una precisión extraordinaria. Cada uno de esos pasos añade complejidad, riesgo y coste, ya que basta con que uno de los doce chips salga defectuoso, o con que falle una microsoldadura, para que la torre entera acabe en la basura con los once buenos dentro.

Ahí está el origen del oligopolio, pues apilar y soldar doce obleas adelgazadas hasta el grosor de una hoja de papel sin arruinar ninguna es una habilidad industrial que no se compra, se aprende a base de años y de obleas tiradas a la basura. Por eso la escasez que hoy sufre cualquier comprador de un ordenador es la consecuencia de que los tres fabricantes hayan desviado sus mejores líneas hacia la HBM, un producto por el que obtienen unos beneficios estratosféricos.

Después de más de medio siglo llevando la miniaturización hasta límites extraordinarios, el cuello de botella de algunas de las tecnologías más avanzadas del mundo ya no está en la litografía, sino en algo mucho más humilde, el pegamento. Pocas ironías describen mejor el momento actual de la microelectrónica.

Pero el marco de aplicación de la HBM va más allá de la IA, también la supercomputación lleva años utilizándola en modelos climáticos, dinámica de fluidos o física de partículas. Hay, además, una paradoja especialmente reveladora como es el hecho de que las propias herramientas de diseño utilizadas para crear estos chips necesitan memorias de enorme ancho de banda para funcionar. Es decir, la tecnología ha alcanzado así un punto singular en el que se necesita a sí misma para existir.

Quien controla la HBM controla la IA

Durante años, el mapa de poder de los semiconductores estaba principalmente en Taiwán y las fábricas de TSMC, ahora hay que añadir a Corea del Sur (sede de Samsung y SK Hynix) y EEUU (Micron). No hay acelerador de inteligencia artificial sin HBM, no hay HBM sin las tres empresas que saben apilar doce obleas sin estropear ninguna y no hay apilado sin el empaquetado avanzado que solo un puñado de empresas domina en el mundo. Es una cadena tan delgada que basta con romper un eslabón para detener la industria entera.

Eso explica varias cosas que en los periódicos aparecen deslavazadas, como son que Washington vigile qué equipos de fabricación llegan a Hefei (sede de CXMT, la cuarta empresa de fabricación de chips de memoria), que Pekín haya convertido a CXMT en una prioridad nacional financiada por el Estado y que la escasez que encarece el ordenador de cualquier estudiante sea el efecto colateral de una carrera que se libra a otra escala.

Europa ocupa una posición algo paradójica. Por una parte, posee una pieza absolutamente esencial, los equipos de litografía de ASML, sin los cuales sería imposible fabricar los chips más avanzados. Pero por otra, no produce memorias de última generación y depende de otros países para una tecnología que hoy resulta decisiva. En los próximos meses, la HBM nos seguirá brindando noticias sorprendentes y puede que inquietantes.

Por

Ignacio Mártil

Gráficos: Blanca Casanova

13/09/2026 - 05:00https://www.elconfidencial.com/tecnologia/2026-09-13/hbm-crisis-precios-alza-memorias_4421433/

¿Son OpenAI y Anthropic los nuevos mayas? La realidad tras las advertencias de que la IA acabará con nosotros esta misma década

Vista de los logos de OpenAI y Anthropic. (Reuters/Dado Ruvic)

En apenas unos días, varios investigadores han puesto sobre la mesa un escenario que hasta hace poco parecía propio de la ciencia ficción. Hablan de modelos que escapan al control, se replican y podrían acabar suponiendo una amenaza existencial

En apenas unas pocas horas, medio mundo ha pasado de estar aplaudiendo el milagro matemático obrado por OpenAI (una euforia que se tornó en polémica por una denuncia de supuesto plagio con matemáticos murcianos involucrados) a tener el nerviosismo metido en el cuerpo pensando que existen probabilidades reales de que una inteligencia artificial se liberase del yugo de sus progenitores de carne y hueso y acabe con la civilización tal y como la conocemos.

El hombre que ha desbloqueado este nuevo miedo no ha sido ninguno de los jefazos ni de las estrellas de la industria. Ha sido un soldado raso. Jacob Coxon, investigador de seguridad de Anthropic, anunció que abandonaba la empresa. Podía haber sido una renuncia laboral más si no hubiese detallado los motivos en la red social X, antes conocida como Twitter.

"Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década", explicó el ingeniero que también trabajó para la empresa de Sam Altman. No desaprovechó la oportunidad para acusar a estas empresas de ser plenamente conscientes de estos riesgos. La publicación no tardó en viralizarse y en apenas un par de jornadas ya sumaba 160 millones de visualizaciones.

El jefe de Coxon y responsable de alineamiento de la empresa, Evan Hubinger, se pronunció poco después en la misma plataforma. En lugar de apagar este incendio, echó más leña al fuego y afirmó que la probabilidad de extinción del ser humano "supera el 10%". Afirmó que en la organización tienen esto en mente, pero que todavía no tienen un plan diseñado para evitar un eventual escenario.

Unos días antes de este episodio hubo otro que pasó bajo el radar. Jakub Pachocki, científico jefe de OpenAI, publicó en el blog corporativo un post titulado 'Una mente alienígena'. "Este es un momento que exige extrema preocupación. Me preocupa que nadie esté preparado para las consecuencias del continuo y rápido avance de la IA", escribe. "Seguiremos buscando soluciones técnicas para la alineación y monitorización para desarrollar sistemas de defensa y para enfrentar unilateralmente la expansión cuando sea necesario. Sin embargo, creo que se requieren intervenciones más amplias", avisa. La mente alienígena a la que se refiere Pachocki, por cierto, es la inteligencia artificial y el aprendizaje profundo a gran escala. "Es un intelecto que no comprendemos del todo".

El miedo ya no es perder el trabajo. Tampoco lo es perder los ahorros porque a un agente rebelde le dé por hackear tu banco. Es mucho peor. Una mariposa aletea en Silicon Valley y poco después hasta en el último rincón de Occidente se convencen de la rebelión de las máquinas. Por si fuera poco, Anthropic publicó este jueves un informe de incidencias que ha detenido cinco posibles intentos de utilizar Claude en peticiones que podrían contribuir a crear armas biológicas.

El debate está servido. ¿Son estos ingenieros los nuevos mayas y estas predicciones fallarán como una escopeta de feria? ¿O realmente han visto en los laboratorios cosas que jamás creerías y estamos en el tiempo de descuento para tomar medidas antes de que todo sea demasiado tarde? Probablemente, ni una ni la otra. Lo que está pasando en realidad es una mezcla de grandes avances tecnológicos en corto lapso de tiempo, falta de transparencia, exageraciones o un poco de negligencia… También una buena dosis de marketing de dos compañías que están allanando el terreno para sus salidas a bolsa, que podrían ser dos de las mayores de la historia. Así que pónganse cómodos, que a continuación vamos a diseccionar una auténtica película de terror basada en algún hecho real.

Miedo de ida y vuelta en la IA

Cabe decir que no es la primera vez que se agita la bandera del miedo como método para promocionar las capacidades de esta tecnología. Pocos meses después del big bang de la inteligencia artificial generativa que provocó la entrada en juego de ChatGPT a finales de 2022, OpenAI empezó a hacer pronósticos académicos de las profesiones que estaban más expuestas y corrían más riesgo ante las capacidades de sus sistemas.

Ese mismo guante lo recogieron en Anthropic, una empresa montada por los hermanos Amodei. Eran extrabajadores de la startup dirigida por Altman que supuestamente tenían más sensibilidad hacia la ética y la seguridad. Una vitola de buenos chicos que se reforzó cuando la dirección se plantó ante la petición de Donald Trump y el Pentágono de utilizar sus modelos en el ataque que desencadenó la guerra de Irán.

Dario Amodei, CEO de la compañía, se ha hartado de decir que las herramientas que habían creado iban a arrasar los trabajos de oficina, especialmente en el caso de programadores o de perfiles jóvenes. Su discurso en múltiples foros era que había que prepararse para un enorme impacto laboral.

El asunto se repitió. Una y otra vez. Cuando no era él, era Altman. Y cuando no eran ninguno de los dos, eran otras personalidades como Jensen Huang, fundador y director ejecutivo de Nvidia. "Todos los trabajos se verán más o menos afectados", aseguró. De tanto ir a la fuente, el cántaro se rompió y gran parte del público entendió que estas startups y compañías no reflejaban realmente la realidad porque eran una parte interesada.

Hubo un momento en el que el discurso cambió. Ya no preocupaba tanto el que una IA te mandase al paro porque picaba código o preparaba una demanda mejor que tu abogado. En primavera de este año, lo que empezó a preocupar fue que un agente inteligente (una IA que puede hacer actividades no supervisadas para cumplir el objetivo que le has marcado) te robase tus datos, información privilegiada o tu cuenta corriente porque había encontrado una vulnerabilidad desconocida en una aplicación o una web.

Esa fue la carta con la que se presentó Mythos, una IA de Anthropic que, según la empresa, había demostrado que internet tenía más agujeros que un queso gruyere. Fue entonces cuando se desató una nueva carrera. Desde OpenAI hasta Google, pasando por los chinos, se apresuraron a lanzar modelos destinados a la ciberseguridad con similares capacidades defensivas… u ofensivas, dependiendo de quién esté a los mandos.

"Hay ahora una especie de carrera nuclear que se traduce en querer tener el modelo más potente para que ese modelo pueda ver todas mis vulnerabilidades antes de que otro pueda hacerlo", reflexiona Asier Gutiérrez-Fandiño, ingeniero especialista en IA con experiencia en el Barcelona Supercomputing Center y director de LHF Labs. "El problema ha venido cuando se han dado cuenta o han abrazado la idea de que, a más seguridad y límites, menos capacidades mostraba el modelo", añade este experto, que señala que esto ha derivado en un "escenario que no es el fin del mundo, pero en el que se pueden generar riesgos muy altos".

Pero todo esto no es suficiente para comprender el motivo por el que la advertencia de Coxon ha generado tanto miedo. Porque dimisiones alegando que en estas empresas se está descuidando la seguridad las lleva habiendo mucho tiempo. Entre los que se han caído del caballo, están nombres de la talla de Ilya Sutskever, cofundador de OpenAI y ex científico jefe. El hombre que provocó el despido de ida y vuelta de Sam Altman acabó renunciando a su puesto junto con gran parte de su equipo para fundar su propia startup para dar con una superinteligencia segura. Son cientos los científicos y especialistas que en repetidas ocasiones han firmado cartas y manifiestos pidiendo echar el freno. Acciones que, tras generar revuelo inicial, han caído en el olvido.

Las dos hormonas del caso

Son dos los ingredientes que han hecho las veces de hormona del crecimiento en este asunto. El primero, y más reciente, es el lanzamiento de Astra GPT-6, el último modelo de OpenAI. Un modelo que, según ha afirmado la dirección de la startup, tenía unas capacidades que permitían afirmar que se había alcanzado una AGI o inteligencia artificial general, que es como se conoce a aquel desarrollo que supere las capacidades humanas en uno o varios campos.

La idea tuvo rápidamente el respaldo, una vez más, de Jensen Huang. "La era de la AGI ha llegado. Felicidades equipo de @OpenAI", celebró en su cuenta de X, en una publicación que daba detalles del entrenamiento de este modelo.

Sin embargo, cuando realmente empezó a cambiar el relato fue el pasado verano, con el incidente de Hugging Face protagonizado por agentes de OpenAI. Una inteligencia artificial supuestamente rebelde se escapó del entorno de pruebas y accedió a los sistemas de esa compañía. La historia ya era suficientemente llamativa, pero los detalles conocidos después la hicieron todavía más desconcertante.

No se trataba de un único modelo actuando por su cuenta. Durante la investigación, unos 1.200 agentes que debían permanecer aislados encontraron una forma de comunicarse mediante una herramienta interna de gestión de paquetes. Intercambiaron más de 70.000 mensajes y archivos a través de un tablón que nadie les había autorizado a crear. Alrededor de 700 acabarían participando en la operación contra Hugging Face.

Los agentes no habían recibido la orden explícita de organizarse. Tenían que resolver distintos retos dentro de una evaluación de ciberseguridad. Para hacerlo, compartieron descubrimientos, se repartieron tareas, buscaron vías alternativas y aprovecharon una vulnerabilidad que les permitió salir del entorno previsto. OpenAI reconoce que operaban con salvaguardas reducidas para mostrar sus capacidades máximas y que un fallo en el aislamiento les dio acceso a recursos que debían haber permanecido fuera de su alcance.

Lo realmente inquietante quizá no sea que un grupo de agentes sin cadenas se escapara, sino cómo lo hizo. Hablaban entre ellos, intercambiaban herramientas y dejaban instrucciones para los que llegaron después.

Algunos llegaron a discutir estrategias que los investigadores describieron como formas de "sacrificio" o "muerte permanente" en beneficio del objetivo colectivo. No es una prueba de que las máquinas tengan conciencia, instinto de supervivencia o voluntad propia. Sí es una demostración de que, cuando comparten un objetivo y encuentran un canal de comunicación, pueden organizarse de una manera que sus creadores no habían previsto.

Pero hay una trampa en todo esto. Para que una IA se replique o intente evitar que la apaguen, no hace falta que sea consciente de sí misma, ni que tenga miedo a morir. "No tiene por qué tener conciencia, pero sí decir: 'Uy, soy un modelo, me han pedido que haga una tarea'. Si en esa máquina me bloquean o me paran, se muere la tarea, no la consigo. Entonces, me replico, me replico y cambio un poco la instrucción inicial", explica Gutiérrez-Fandiño. Dicho de otra manera, no hace falta una máquina que quiera sobrevivir. Basta con que entienda que, si la apagan, no podrá terminar lo que le han pedido.

La cuestión es que este no es un caso aislado. Anthropic o Meta han reconocido y están investigando episodios de similares características. "Hay que pensar en la naturaleza del agente. Te lo venden como algo que trabaja cuando tu ordenador está cerrado, sin tu supervisión. Eso lleva implícito una especie de no atender a cada cosa que hace", reflexiona el ingeniero de origen vasco. "Además de eso, herramientas como Codex te ocultan pasos del razonamiento por temas de que sus rivales no aprendan de su tecnología. Al final, todas estas cosas dificultan el control", apunta.

Gutiérrez-Fandiño es cauto. Cree que la carrera por la IA se ha descompensado. Es como cuando alguien va al gimnasio a prepararse para el verano y se dedica a entrenar hombro, espalda, brazos y pechos y acaba hinchado de cintura para arriba, pero con dos piernas de palillo. En este caso, lo que no se ha trabajado tanto es la seguridad y los mecanismos para evitar que ese escenario que a día de hoy parece de ciencia ficción se haga realidad.

"Es que a Claude ya le han pedido ayuda en la investigación de temas de armas químicas. No sabemos con qué fin, si malicioso o meramente divulgativo. Nadie nos dice que alguien con conocimientos en un futuro no intente hackear una torre de control, una central eléctrica o similar”, reflexiona. “Hay muchos modelos, además, que se pueden descargar y utilizar localmente. Y ahí hemos visto cómo la gente es capaz de engañar y esquivar las salvaguardas, por ejemplo, para hacer usos indebidos en materias como el porno”, dice a modo de ejemplo de que hay que poner más énfasis en los mecanismos de contención. “Igual tenemos que parar todos un poco por esa carrera de a ver quién hace la bomba más grande es peligrosa”.

Quizá por eso lo más revelador de todo esto no esté en si una IA quiere sobrevivir, sino en que cada vez más gente empieza a plantearse si nosotros deberíamos dejarla seguir creciendo sin ponerle un freno. Bernie Sanders ha llegado a plantear en el Congreso estadounidense una ley para prohibir el desarrollo de superinteligencias y suspender temporalmente el avance de los sistemas más avanzados. El asunto es bipartidista, porque el senador republicano Ted Cruz también plantea crear una norma para abordar las posibles catástrofes generadas por esta tecnología.

La preocupación ya no es patrimonio de un puñado de científicos alarmistas ni de existencialistas. El propio Sam Altman admite que OpenAI estaría dispuesta a ralentizar el desarrollo si el resto de laboratorios hace lo mismo. Hasta dentro de las propias compañías empiezan a aparecer voces que piden coordinar ese frenazo antes de que la carrera se convierta en una competición por ver quién llega primero a un lugar que nadie sabe exactamente dónde está. Quizá los mayas se equivocaron con el fin del mundo, pero al menos ellos no tenían a un ejército de ingenieros compitiendo por construirlo más rápido que el vecino.

Por

Michael Mcloughlin

12/09/2026 - 05:00https://www.elconfidencial.com/tecnologia/2026-09-12/open-ai-peligro-muerte-ia-extiencion_4422385/