La herramienta altera ligeramente la generación de palabras para mejorar la identificación de textos artificiales sin afectar a su calidad
Los textos creados por Gemini, el modelo de inteligencia artificial generativa desarrollado por Google Deepmind, la empresa de IA del gigante tecnológico estadounidense, incluyen desde mayo una marca de agua invisible que facilita su identificación como contenido artificial. Se trata del mejor sistema de detección desarrollado hasta ahora a tal efecto, según un artículo que publica este miércoles la revista Nature, y representa un avance en cuanto a transparencia que se alinea con las exigencias de la ley europea, también conocida como AI Act. Aun así, el marcaje no es infalible y la detección falla si el usuario edita o parafrasea el texto generado.
La implementación de SynthID-text (el nombre con el que Google Deepmind ha bautizado al algoritmo de marcas de agua) no altera la calidad de los textos generados por Gemini ni requiere de demasiada potencia computacional para funcionar. Ambos factores han sido clave para su despliegue a gran escala. Por primera vez, aseguran sus desarrolladores en un artículo científico donde califican el avance como “un hito para un despliegue responsable y transparente de la IA”, una herramienta de estas características se ha integrado en una aplicación utilizada por millones de usuarios.
No es infalible
El éxito de la herramienta depende de cómo de concreta sea la pregunta que hagamos a la IA
Las IA generativas son una especie de máquinas de probabilidad. Calculan qué palabras es más probable que respondan adecuadamente a nuestras preguntas, en base a todos los textos con los que han sido entrenadas. SynthID-text altera ligeramente este cálculo probabilístico, y cambia algunas de las palabras que el algoritmo usaría para responder por otras, siempre de forma que no afecten al sentido global de la respuesta. Estas variaciones, imperceptibles para el ojo humano, dejan un ruido estadístico, una especie de rastro que el sistema puede detectar posteriormente para identificar los textos creados artificialmente.
El éxito de la detección depende en gran medida de lo cerrado de la respuesta. Si la pregunta que hacemos a la IA es muy concreta y el sistema responde siempre del mismo modo, la marca de agua prácticamente no alterará el texto y, en consecuencia, SynthID no podrá detectar su origen artificial. En cambio, cuanto más amplia sea la cuestión y más factores aleatorios haya, mayor será la habilidad del sistema para detectarlo acertadamente, con tasas de éxito que rondan el 90%.
Algunas barreras persisten
SynthID-text no es infalible, y su éxito se desploma si el usuario edita el texto generado
La herramienta mejora los estándares de calidad de otros productos similares desarrollados hasta ahora, y salva por primera vez la dificultad de la implementación a gran escala. Sin embargo, choca con otras barreras reconocidas por sus autores e identificadas ya en diciembre de 2023 por el Servicio de Investigación del Parlamento Europeo: no es infalible (especialmente en respuestas breves), y su potencial desaparece si el usuario edita o parafrasea el texto.
Para Albert Sabater, director del Observatorio de Ética en Inteligencia Artificial de Catalunya (OEIAC) en la Universitat de Girona, que no ha participado en el estudio, “la idea de una marca de agua digital obligatoria, eficaz, robusta y fiable” es un avance que se alinea con el recital 133 de la ley europea sobre IA, también conocida como AI Act. El texto exige a los desarrolladores que los contenidos artificiales puedan ser identificables como tales. “La última parte (fiable) aún no la tenemos pese a los esfuerzos”, lamenta, pero “la obligación de transparencia siempre es bienvenida y va mucho más allá de una simple declaración que indique ‘contenido generado por IA’, ya que esto se podría eliminar fácilmente”.
Identificar claramente si un contenido, sea escrito o audiovisual, tiene un origen artificial es uno de los grandes retos al que se enfrentan las IA generativas, que han sacudido, entre otros, al mundo educativo y la creación de contenido en internet.
“Actualmente, los sistemas para detectar si un documento ha sido generado por IA tienen bajos índices de acierto, por lo que tecnologías que faciliten la identificación de la autoría son muy necesarias”, apunta en declaraciones a Science Media Centre Pablo Haya, investigador del Laboratorio de Lingüística informática de la Universidad Autónoma de Madrid (UAM), que tampoco ha participado en el trabajo. Según él, el artículo presenta una solución técnicamente robusta al problema, pero no es la panacea, porque manipular el resultado es sencillo y común.
Otra cuestión a tener en cuenta es que el éxito de las marcas de agua depende de que las empresas usen sistemas estandarizados. Es decir, que el detector de Gemini pueda, por ejemplo, identificar textos generados por ChatGPT, la IA de OpenAI. “Haría falta que fuera un organismo independiente como la Oficina de IA de la UE, creada para la aplicación de la AI Act, la que realice una revisión de última generación en este campo y defina los estándares que todos los proveedores de IA generativa han de seguir estrictamente”, defiende Sabater.
