Alucinación

En IA generativa, 'alucinación' es un término común para contenido generado que es falso o no respaldado por la entrada, fuentes proporcionadas o evidencia verificable, incluso cuando suena plausible [1][2].

Una alucinación ocurre cuando el contenido generado no está adecuadamente respaldado por la evidencia disponible. Un lenguaje fluido o confiado puede hacer que el problema sea más difícil de notar. Puede inventar un hecho, malinterpretar una fuente real, combinar detalles de diferentes contextos o dar una cita que parezca correcta pero que no respalde la afirmación.

Los investigadores y organismos de normalización no siempre usan el término de la misma manera. NIST a menudo usa "confabulación". Esta página se centra en fallos en hechos y fundamentación, no en cada tipo de salida de IA de baja calidad.

La alucinación no es solo un error del usuario o un error raro de escritura. NIST identifica la confabulación y otros problemas de confiabilidad como riesgos en sistemas de IA generativa que requieren gobernanza, medición y monitoreo [1]. Una encuesta de ACL de 2024 trata la alucinación como un problema amplio en modelos de lenguaje, imágenes, videos y audio de gran tamaño, con diferentes causas y métodos de detección en cada dominio [2].

Las alucinaciones importan porque la salida de IA suele llegar en una forma pulida. La escritura fluida puede hacer que la evidencia débil parezca fuerte. Una lista con viñetas ordenada puede ocultar contexto perdido. Una cita falsa puede parecer más confiable que una honesta "No lo sé".

Para usuarios cotidianos, el principal riesgo no es que cada respuesta esté equivocada. El riesgo es que algunas respuestas equivocadas sean difíciles de notar. Si una herramienta de IA inventa una regla de producto, una cita de reunión, una fuente de investigación o una excepción a la política, el usuario podría transmitir el error a trabajos escolares, soporte al cliente, decisiones de gestión o contenido público.

El problema es más agudo cuando el usuario está cansado, apurado o no familiarizado con el tema. Una respuesta fluida puede sentirse como confirmación, especialmente cuando coincide con lo que el usuario esperaba escuchar. Richbay debe enseñar a los lectores a ralentizarse en el momento en que un reclamo se vuelve lo suficientemente útil como para actuar, porque ese es el momento en que la evidencia importa.

Un modelo de lenguaje genera texto a partir de patrones y contexto. No conoce automáticamente qué afirmaciones han sido verificadas. Si la solicitud pide información que falta, es ambigua, está obsoleta o está fuera del material proporcionado, el modelo aún puede producir una respuesta fluida. Esa respuesta puede incluir detalles que nunca fueron respaldados por la solicitud o las fuentes.

La encuesta de ACL describe la alucinación como un problema de múltiples causas, no un solo error con una sola solución [2]. Las causas pueden incluir datos de entrenamiento, comportamiento del modelo, elecciones de decodificación, falta de base, preguntas ambiguas o brechas en la evaluación. En entornos de producto, los sistemas circundantes pueden agregar más puntos de falla, como recuperación deficiente, documentos obsoletos o uso inseguro de herramientas.

OpenAI le explica a sus usuarios que ChatGPT puede ser inexacto y que la información importante debe verificarse, lo cual es una guía útil específica del proveedor para esa familia de productos [3]. OpenAI también argumenta en material orientado a la investigación que ciertos incentivos de evaluación pueden recompensar respuestas seguras incluso cuando la incertidumbre sería mejor [4]. Esos puntos respaldan la precaución, pero no deben convertirse en una tasa universal de alucinaciones.

Las alucinaciones pueden presentarse de diferentes formas. Algunas son hechos fabricados. Algunas son hechos reales utilizados en el lugar incorrecto. Algunas son resúmenes que omiten una condición. Algunas son citas que apuntan a una fuente real pero no a la afirmación junto a ella. Para los usuarios, la pregunta práctica no solo es "¿La respuesta es falsa?" También es "¿Esta afirmación específica está suficientemente respaldada para este uso?"

En un ejemplo hipotético, un estudiante le pregunta a un asistente de IA: "Encuentra tres artículos revisados por pares sobre sueño y memoria, y dame las citas". El asistente devuelve tres citas con aspecto formal. Uno de los artículos existe, otro título es cercano pero los autores están equivocados, y una de las citas es completamente inventada.

La respuesta generada no es inútil, pero no está lista para enviar. El estudiante debe buscar cada título en una base de datos de biblioteca o en el sitio del editor, abrir el registro del artículo, confirmar los autores y los detalles de publicación, y verificar si el artículo realmente respalda la oración que se está escribiendo. Si no se puede encontrar una cita, debe eliminarse en lugar de confiar en ella.

Una creencia común es que las alucinaciones se pueden corregir pidiendo con más cortesía o añadiendo "no alucines" al prompt. Un prompt claro puede ayudar a establecer límites, pero no garantiza la verdad. Un modelo aún puede producir afirmaciones no respaldadas cuando la tarea pide hechos que no tiene o cuando el contexto proporcionado es incompleto.

Otra equivocación es pensar que las citas resuelven automáticamente el problema. Las citas ayudan solo si son reales, relevantes y realmente respaldan la afirmación. Un enlace de fuente puede estar roto, no relacionado, obsoleto o asociado con la oración equivocada.

El riesgo depende de la decisión. Un detalle inventado en una recomendación de película suele ser de bajo riesgo. Una procedimiento de seguridad inventado, regla legal, detalle financiero, declaración médica o hecho de cuenta de cliente puede causar daño real. NIST describe los riesgos de inteligencia artificial generativa como dependientes del contexto, lo que significa que el proceso de revisión debe coincidir con el nivel de riesgo [1].

No existe una tasa universal de alucinación pública que se aplique a cada modelo, tarea, idioma, producto y fecha. Las tasas cambian con el diseño de evaluación, el dominio, el prompt, la configuración de recuperación y la versión del modelo. Publicar un solo número sin una fuente verificada y contexto sería engañoso.

Cuando una respuesta de IA contiene afirmaciones de hechos, pregunta: ¿Cuáles afirmaciones serían importantes si estuvieran equivocadas? ¿Tiene cada afirmación importante una fuente? ¿Abrí la fuente? ¿Dice la fuente lo mismo? ¿La fuente es lo suficientemente actual? ¿La afirmación está fuera del material proporcionado? ¿La IA expresa incertidumbre donde debería?

Use mayor precaución cuando la respuesta incluya citas, estadísticas, frases, reglas de política, personas nombradas, fechas, límites técnicos, lenguaje legal, lenguaje médico, guías de seguridad o instrucciones que afecten a otras personas. Trate la salida como una pista para investigar, no como prueba.

Si un reclamo no puede verificarse, reduzca su nivel. Vuelva a redactarlo como una posibilidad, elimínelo o pida una fuente que pueda abrir. Si la tarea es de alto riesgo y no hay fuentes confiables disponibles, la respuesta correcta podría ser detenerse en lugar de pulir la salida de la IA. Un usuario cuidadoso no necesita desconfiar de cada respuesta; necesita ajustar la confianza según la evidencia, el contexto y el posible daño.