lunes, 7 de octubre de 2024

Un nuevo estudio apunta lo que ya sabías: cuanto más avanzada y humana sea la IA, más propensa será a mentir

Fotograma de la película 'Ex Machina' de Alex Garland, una de las primeras cintas que exploró la conciencia artificial


Para sorpresa de nadie, una IA cada vez más avanzada se volverá más humana, pudiendo responder cosas más complicadas pero también engañarnos con naturalidad haciendo pasar por veraces respuestas que son incorrectas



Suele suceder que las leyes llegan siempre tarde a cualquier fiesta, y lo cierto es que con la IA no iba a ser diferente tampoco. De hecho, es que todavía en sus albores el avance de la inteligencia artificial asusta bastante, superando a los humanos en prácticamente todo y anticipando que, como esto es el principio, el futuro pinta todavía más incierto con respecto a sus posibilidades y cómo se irá integrando en nuestras vidas y/o nuestros trabajos.

Por supuesto que esta situación la tendrán que resolver los expertos en el futuro, aunque ahora en el presente ya van sucediéndose los estudios que nos anticipan cómo se comportan las IA a medida que crecen, aprenden y avanzan, como en este caso la reciente reseña de Futurism que nos habla de una IA cada vez más sofisticada y por tanto cada vez más propensa a la mentira.


El refinamiento de las IA

Obviamente, no hablamos de una máquina que cuente mentiras como tal, pues por ahora continúan siendo IAs entrenadas, pero en el estudio se concluye que a medida que son más sofisticados los modelos de lenguaje grande (LLM) se parecen más a los humanos, pudiendo "simular mejor el tener conocimientos"_.

El estudio original, publicado en la revista Nature, examinó algunos de los LLM de tipo comercial más importantes de la industria, modelos cada vez más potentes con cada iteración, pero que a medida que crecen se están demostrando menos confiables por una razón sencilla.

Los chatbots más modernos y potentes se creen demasiado listos, así que se dedican a inventar hechos y respuestas en lugar de rechazar las preguntas para las que no conocen una solución válida. Huelga decir que hablamos de GPT de OpenAILLaMA de Meta o BLOOM de BigScience, que son tres de las opciones más importantes.

Así lo describe José Hernández-Orallo, experto del Instituto Valenciano de Investigación en Inteligencia Artificial y coautor del estudio original:


"Hoy en día [las IAs] responden a casi todo y eso significa que que hay más respuesta correctas, pero también más incorrectas."


Por supuesto, las IAs se están volviendo mucho más precisas e inteligentes, pero eso tiene una consecuencia indeseada, pues también son capaces de fingir mejor que están bien entrenadas, y, por tanto, podrán entregarnos respuestas convincentes que son totalmente falsas.

El debate está en que el problema ya no es tanto preguntarles cosas muy complejas, pues a medida que avanzan son más capaces de responder estas preguntas, sino que el gran inconveniente está en que continúan fallando preguntas fáciles, con niveles de precisión en torno al 60% en el estudio realizado.

Esto último sí es preocupante, pues los humanos implicados en el estudio percibieron las respuestas de la IA como precisas siendo incorrectas en muchas ocasiones, equivocándose entre un 10 y un 40 por ciento de las veces por lo convincente que fue la IA.


"Se puede establecer un umbral para que, cuando la pregunta sea más desafiante, [el chatbot] pueda decir 'no sé' y evite responder incorrectamente."

Los investigadores lo tienen claro, lo ideal sería programar a los chatbots y LLMs para que eviten responder a todo de forma sistemática, sobre todo cuando no tienen claro el contexto o no pueden verificar ni contrastar que su información sea correcta.

Esto, sin embargo, chocaría ante los intereses de la industria, de la empresas y de un negocio multimillonario en el que todos quieren posicionarse como estándares de facto, y donde un chatbot que fuese honesto y diga que no sabe ciertas cosas se vería como limitado complicando su penetración en el mercado respecto a otras opciones que sí respondan a todo, aun a riesgo de equivocarse.





Publicado en Tecnología
por Damián García

03/10/2024 13:42
・5 minutos de lectura
https://www.lavanguardia.com/andro4all/tecnologia/un-nuevo-estudio-apunta-lo-que-ya-sabias-cuanto-mas-avanzada-y-humana-sea-la-ia-mas-propensa-sera-a-mentir