En el terreno de la Inteligencia Artificial (IA), los modelos de lenguaje grande como ChatGPT, Claude, Copilot DALL-E e incluso Google Gemini han demostrado ser herramientas impresionantes, que producen un alto grado de inquietud por el futuro laboral humano por el aparente rango de efectividad de sus resultados. Sin embargo, todos estos modelos actuales comparten un problema común y que podemos considerar como grave: la tendencia a generar información falsa o “alucinaciones”.

Este problema ha generado errores vergonzosos y ha limitado la utilidad de estas herramientas. Las alucinaciones de la IA es uno de los elementos más graves de esta tecnología, tan delicado que hasta Sam Altman, CEO de OpenAI, en más de una ocasión han intentado minimizarlo usando impresionantes acrobacias retóricas:

“Gran parte del valor de estos sistemas está fuertemente relacionado con el hecho de que alucinan. Son más un feature o característica de sus funciones que un bug o fallo. Si quieres buscar algo en una base de datos, ya hay cosas más útiles para hacerlo”.

Esto a todas luces es un ardid, ya que el problema con estas alucinaciones de la IA es que son tan sutiles y están tan bien entretejidos con la información verdadera que pueden pasar por ciertos ante alguien que no domine el tema del que la plataforma desarrolló el material.

Este algoritmo puede detectar la alucinaciones de ChatGPT y cualquier Inteligencia Artificial

Tal vez el ejemplo más claro y reciente de los peligros que implican estas alucinaciones lo vivimos hace poco cuando Google se vio obligado a retirar sus resúmenes de búsqueda potenciados por Inteligencia Artificial. Luego de que Gemini comenzara a sugerir ponerle pegamento a la pizza y comer piedras. La buena noticia es que viene una solución real en camino.

De acuerdo con un reporte de Yahoo! News, un grupo de investigadores ha desarrollado un detector de alucinaciones con IA que puede identificar cuándo un modelo está inventando información que intenta hacer pasar como verdadera.

Los científicos, que forman parte del Departamento de Ciencias de la Computación de la Universidad de Oxford crearon este algoritmo que puede detectar si las respuestas generadas por IA son objetivas con una precisión del 79%.

Este método, que representa una mejora del 10% sobre las técnicas existentes, se basa en un principio simple: pedir al chatbot que responda la misma pregunta varias veces, entre 5 y 10, para luego analizar las respuestas, cruzarlas y determinar qué es falso y qué es verdadero.

El secreto del algoritmo: la entropía semántica

El algoritmo en sí, según explican en su investigación publicada en la más reciente edición de Nature, mide la entropía semántica, que es la variación en el significado de las respuestas. Si las respuestas son diferentes entre sí, la puntuación de entropía semántica es alta, lo que indica que la IA podría estar alucinando.

Por el contrario, si las respuestas son similares o idénticas, la puntuación es baja, lo que sugiere una respuesta objetiva y libre de alucinaciones. De modo que este método supera a otros enfoques que se basan en el simple análisis de la redacción de la respuesta en lugar de su significado.

Al enfocarse en el significado, el nuevo algoritmo es más preciso para detectar alucinaciones, incluso cuando la redacción es similar. Con esto podría trabajarse en una mejora para ChatGPT y bots similares de modo que al fin dejen de alucinar.

La IA de OpenAI, junto a Copilot son las plataformas más aquejadas por este fenómeno y sin lugar a dudas no les vendría mal esta clase de mejora.

Fuente: msn.com