¿Qué son las alucinaciones de IA y cómo mitigarlas?

La era moderna de la tecnología digital ha sido testigo de avances sin precedentes en el campo de la inteligencia artificial (IA), con la emergencia de modelos de lenguaje generativos como ChatGPT y Bard marcando un punto de inflexión en esta trayectoria. Estos desarrollos prometen una transformación radical en cómo interactuamos con las máquinas, ofreciendo capacidades de comunicación y generación de texto que parecen emular la fluidez y el razonamiento humanos. Sin embargo, esta promesa viene acompañada de una paradoja intrigante y preocupante: la generación de respuestas que, aunque coherentes, son fundamentalmente incorrectas o engañosas, un fenómeno conocido como “alucinación” de la IA.

El surgimiento de la alucinación en la IA: un desafío inesperado

La alucinación en la IA, particularmente en modelos de lenguaje como ChatGPT, representa una desviación notable de las expectativas tradicionales de precisión y veracidad en los sistemas de computación. A diferencia de los errores clásicos en la programación, donde las fallas son a menudo predecibles y trazables a errores de código o de lógica, las alucinaciones de la IA presentan un desafío más complejo y escurridizo. Estos modelos, entrenados con vastos conjuntos de datos y diseñados para simular el pensamiento humano, pueden generar respuestas que parecen convincentes y bien fundamentadas, pero que carecen de una base real o factual.

“La alucinación IA plantea desafíos éticos, los profesionales deben liderar el camino en la implementación responsable de estas tecnologías. La consideración ética y la gobernanza tecnológica se convierten en aspectos cruciales del trabajo en IT, destacando la necesidad de profesionales conscientes y responsables”, expresó Greg Kostello, CTO y confundador de la compañía Huma.AI en una entrevista para Cybernews.

El potencial de los modelos generativos de IA para influir en sectores críticos como la salud, la educación y la industria es inmenso. Pero, este mismo potencial lleva consigo riesgos significativos, especialmente cuando se considera la dependencia de recomendaciones generadas por IA en situaciones donde la precisión es crucial. En entornos industriales, por ejemplo, una decisión basada en información inexacta generada por IA podría tener consecuencias financieras, de seguridad o medioambientales graves. En el ámbito médico, la confianza en una información incorrecta podría llevar a diagnósticos erróneos o tratamientos inadecuados.

Frente a estos desafíos, surge la necesidad de un enfoque equilibrado que reconozca tanto el potencial transformador de estos modelos de IA como los riesgos inherentes a su uso. La clave reside en encontrar el balance entre aprovechar los beneficios de la tecnología y minimizar sus incertidumbres inherentes, especialmente en contextos donde las decisiones incorrectas pueden tener implicaciones significativas.

Este equilibrio implica no solo mejoras técnicas en los modelos de IA, sino también un enfoque holístico que incluya verificación humana, gobernanza ética y un compromiso constante con la mejora continua. A medida que avanzamos en esta nueva era de la inteligencia artificial, enfrentamos la tarea esencial de garantizar que la tecnología sirva a nuestros intereses y valores, y no al revés. La IA no es solo una herramienta tecnológica; es un reflejo de nuestras aspiraciones, limitaciones y responsabilidades en la sociedad digital emergente.

¿Qué es una alucinación de IA?

Dentro del ámbito de la inteligencia artificial, la conceptualización de la alucinación en modelos de lenguaje como ChatGPT y Bard ha despertado un intenso debate y análisis. Este fenómeno, descrito en recientes informes y estudios, se manifiesta cuando estos sistemas avanzados generan información que, a pesar de parecer convincente, es inexacta o no se correlaciona con la realidad. Esta problemática se ve intensificada en aplicaciones industriales, donde “las consecuencias de decisiones basadas en información incorrecta pueden ser significativas”, de acuerdo con el análisis Hallucination in ChatGPT: Uncovering the Limitations of AI Language Models in Maintenance and Reliability, publicado por Sarah Lukens

IBM describe la alucinación de IA como “un fenómeno en el que un modelo de lenguaje grande (LLM), a menudo un chatbot de IA generativa o una herramienta de visión por computadora, percibe patrones u objetos que son inexistentes o imperceptibles para los observadores humanos, creando salidas que son absurdas o completamente inexactas”​​.

TechTarget explica que “una alucinación de IA ocurre cuando un modelo de lenguaje grande (LLM) genera información falsa. Los LLM son modelos de IA que potencian chatbots, como ChatGPT y Google Bard. Las alucinaciones pueden ser desviaciones de hechos externos, lógica contextual o ambos. Las alucinaciones a menudo parecen plausibles porque los LLM están diseñados para producir textos fluidos y coherentes”​.

Nearsure la define como: “La capacidad de los modelos de IA para crear contenido visual, auditivo o incluso textual que no existe en la realidad. Estos modelos, basados en técnicas generativas como GPT-4, son entrenados con grandes conjuntos de datos y aprenden patrones complejos para luego generar contenido de manera autónoma”.

Este tipo de errores no solo resulta en información incorrecta, sino que también plantea desafíos éticos y prácticos significativos. Las alucinaciones en IA pueden llevar a una comprensión errónea y, potencialmente, a decisiones de mantenimiento equivocadas, como se ha observado en diversos estudios. La preocupación central es la confiabilidad de las recomendaciones generadas por IA sin verificación humana, especialmente en contextos industriales donde los errores pueden tener graves repercusiones financieras, de seguridad y ambientales.

Por tanto, la alucinación en la IA se erige como un tema crucial en el desarrollo y aplicación de tecnologías de inteligencia artificial, exigiendo un análisis y manejo cuidadoso para garantizar la precisión y fiabilidad de estos sistemas avanzados.

Exámenes de conocimiento y evaluación académica

En el sector de mantenimiento y fiabilidad, los modelos de IA han sido sometidos a pruebas rigurosas para evaluar su capacidad de proporcionar respuestas precisas y relevantes. Según el análisis de Sarah Lukens, se ha encontrado que en estos exámenes, las respuestas generadas por la IA contenían alucinaciones incorrectas en un rango del 4 % al 5 % de las veces. Estos errores no solo se manifestaban en respuestas directamente equivocadas, sino también en la creación de definiciones y explicaciones plausibles pero incorrectas para términos y conceptos específicos del campo.

En áreas de conocimiento especializado, como la tecnología de PHM (Predictive Health Management), los modelos de IA han mostrado una tendencia aún más marcada a generar alucinaciones. En el informe de Lukens, se observó que en los exámenes de conocimiento de PHM, las respuestas de la IA contenían alucinaciones incorrectas entre el 10 % y el 29 % de las veces. Este dato es especialmente preocupante, ya que indica una mayor incidencia de errores en áreas donde la especialización y la precisión del conocimiento son críticas.

Datos recopilados por Ideamaker Agency revelan que los algoritmos de inteligencia artificial “alucinan” aproximadamente entre un 20 y un 25 por ciento del tiempo​​. Esta estadística subraya un desafío significativo en el campo: incluso con avances tecnológicos sofisticados, una proporción considerable de las salidas generadas por la IA pueden ser inexactas o engañosas.

Ahondando en los detalles, un artículo de Tidio.com revela una perspectiva aún más matizada. Este estudio estableció que alrededor del 46 % de los encuestados indicaron que frecuentemente se encuentran con alucinaciones de IA, mientras que un 35 % lo hace de manera ocasional. Sorprendentemente, alrededor del 77 % de los usuarios han sido engañados por estas alucinaciones, y un asombroso 96 % ha encontrado contenido de IA que los ha llevado a cuestionar sus percepciones​​. Estos números sugieren que las alucinaciones de IA no son meras rarezas tecnológicas, sino que tienen un impacto tangible y a menudo disruptivo en la experiencia del usuario.

En el ámbito específico de los modelos de lenguaje, la tasa de alucinación varía notablemente entre diferentes plataformas. Por ejemplo, según Prompt Engineering, GPT-4, conocido por su precisión y sofisticación, muestra la tasa de alucinación más baja, con tan solo un 3,8 %, mientras que Google’s Palm-Chat registra la tasa más alta con un 27,1 %​​. Esta variación entre diferentes modelos destaca la importancia de la elección y la configuración adecuada del modelo de IA para aplicaciones específicas.

Las graves consecuencias de las alucinaciones

En contextos donde se toman decisiones basadas en datos, como en mantenimiento industrial, salud o finanzas, la precisión de la información es fundamental. La presencia de alucinaciones en la IA puede llevar a conclusiones erróneas o a la implementación de estrategias basadas en información falsa. Por ejemplo, en el mantenimiento de activos críticos, una recomendación incorrecta generada por IA podría resultar en una falla no anticipada o en una inversión innecesaria de recursos, afectando tanto la eficiencia operativa como la seguridad.

En el ámbito educativo y académico, las alucinaciones en la IA pueden comprometer la integridad del proceso de aprendizaje. Estudiantes y académicos que dependen de estos modelos para investigación o para la comprensión de conceptos complejos podrían ser inducidos a errores. Esto es especialmente crítico en campos donde la precisión del conocimiento es vital, como en ciencias médicas o ingeniería.

La generación de información inexacta por parte de la IA también plantea desafíos éticos significativos. Se cuestiona la confianza en la tecnología y se plantean interrogantes sobre la responsabilidad en caso de errores. La dependencia de la IA para tareas críticas podría verse comprometida si estas tecnologías no son lo suficientemente transparentes o fiables.

Además, existe un riesgo legal y de cumplimiento asociado con el uso de IA en sectores regulados. Las decisiones basadas en información generada por IA que resultan ser inexactas pueden llevar a violaciones de normativas, sanciones o litigios, especialmente en sectores como la salud, finanzas y derecho.

Estos riesgos subrayan la necesidad de mecanismos robustos de verificación y validación humana en el uso de la IA. Las organizaciones deben ser cautelosas al integrar respuestas generadas por IA en sus procesos de toma de decisiones, asegurándose de que haya una supervisión adecuada y un entendimiento claro de las limitaciones de estas tecnologías.

De otro lado, estas alucinaciones pueden ser peligrosas por su capacidad de engañar a las personas. Dado que los outputs de los LLMs están diseñados para sonar fluidos y plausibles, existe el riesgo de que las personas crean en las alucinaciones si no están preparadas para leer los outputs de LLM con un ojo crítico. Esto podría llevar a la propagación inadvertida de desinformación, la fabricación de citas y referencias falsas, e incluso podrían ser utilizadas en ciberataques​.

Recomendaciones y estrategias de mitigación

1. Uso de un LLM de confianza: Salesforce sugiere que para reducir las alucinaciones en IA generativa, es crucial utilizar un modelo de lenguaje a gran escala (LLM) confiable. Un LLM confiable debería proporcionar un entorno para los datos que sea lo más libre posible de sesgos y toxicidad. Además, se recomienda extraer información de bases de conocimiento propias en lugar de confiar ciegamente en el modelo, ya que esto reduce el riesgo de que el sistema de IA haga suposiciones incorrectas​​.
2. Redacción de prompts de IA más específicos: Una estrategia clave es formular prompts de IA más específicos. Esto implica evitar preguntas cerradas que limiten la capacidad de la IA para proporcionar información detallada, y en su lugar, pedir a la IA que proporcione respuestas más detalladas o específicas. Usar detalles adicionales en los prompts puede ayudar a que la herramienta proporcione la mejor respuesta posible​​.
3. Instruir al LLM para ser honesto: Otra técnica efectiva es pedir directamente al modelo de lenguaje que sea honesto. Por ejemplo, en un prompt se puede indicar que si la IA no conoce la respuesta, simplemente debe decir “no lo sé”. Esto se complementa con técnicas como “chain of thought” o “tree of thought” para que la IA explique cómo llegó a su respuesta, lo que no solo ayuda con la transparencia y la confianza, sino que también mejora la capacidad de la IA para generar la respuesta correcta​​.
4. Minimizar el impacto en los clientes: Se sugiere ser transparente sobre el uso de la IA generativa, especialmente en interfaces como chatbots, y no presentarlos como si los clientes estuvieran hablando con un humano. Además, es crucial seguir las leyes y regulaciones locales, y asegurarse de que los proveedores del modelo tengan salvaguardas como la detección de toxicidad y sesgo, y defensas contra ataques de inyección de prompts​​.

Por otro lado, MIT Sloan Teaching & Learning Technologies destaca la importancia del juicio humano en la evaluación de las salidas de la IA. Señalan que, a diferencia de los humanos, los sistemas de IA no tienen la capacidad de pensar o formar creencias propias y operan algorítmicamente basados en sus datos de entrenamiento. Por lo tanto, es crucial que los usuarios aborden las salidas de la IA con un ojo crítico y las evalúen con juicio humano​​. Además, recomiendan siempre verificar la precisión del contenido generado por la IA y cruzar la información con fuentes confiables, como publicaciones de expertos, y comparar salidas de múltiples plataformas de IA para obtener una mejor idea de la calidad de los resultados​​.