El fallo de contexto como objeto de análisis
Las alucinaciones en los LLM están relacionadas con un intercambio de contexto deficiente entre tokens durante la generación causal. Este vínculo se estudia en el trabajo arXiv:2609.21096, publicado el 17 de septiembre de 2026. Sus autores son Amir Jalilifard, Anderson Rocha, Eric Wong y Marcos Medeiros Raimundo.
El trabajo analiza patrones topológicos de los flujos de información dentro de los grafos de atención. El objetivo es distinguir las respuestas con alucinaciones de las que no las tienen.
Elementos clave del enfoque:
- El objeto de análisis es el grafo de atención, no el texto final de la respuesta.
- El indicador es la topología de los flujos de información entre tokens.
- La tarea consiste en separar las respuestas con alucinaciones de las que no las tienen.
Conclusión: el intercambio de contexto deficiente deja una huella estructural medible en el grafo de atención.
Curvatura de Forman-Ricci y cuellos de botella de información
La medida clave del trabajo es la curvatura de Forman-Ricci. Esta detecta patrones estructurales que indican cuellos de botella de información en los grafos de atención.
El método tiene en cuenta las características semilocales y globales del flujo de información de las cabezas de atención. Estas características están relacionadas con las respuestas con alucinaciones.
Qué se incluye en el cálculo:
- Características semilocales del flujo de las cabezas de atención.
- Características globales del flujo de las cabezas de atención.
- Relación de estas características con las respuestas con alucinaciones.
Criterio práctico: el valor reside en evaluar el flujo en su conjunto, incluidas sus características semilocales y globales.
Tres señales de una respuesta alucinada
Las respuestas con alucinaciones se distinguen por modos de funcionamiento característicos de la atención. Se manifiestan con mayor intensidad en la última capa del transformador.
| Patrón | Aspecto del flujo de información | Dónde se aprecia con mayor intensidad |
|---|---|---|
| Dependencia excesiva de la autoatención | Los tokens se repliegan sobre sí mismos en lugar de intercambiar contexto | Última capa del transformador |
| Recuperación dispersa del contexto | La información de los tokens anteriores se recopila sin un foco definido | Última capa del transformador |
| Compresión excesiva de la información | El flujo de contexto pierde detalles | Última capa del transformador |
Conclusión: tres modos distintos de atención convergen en un mismo problema: un intercambio de contexto deficiente.
Comprobación de una sola pasada frente a los enfoques de referencia
El método se evaluó en varios LLM y con benchmarks de uso extendido. El enfoque de una sola pasada supera sistemáticamente a los enfoques de referencia existentes en dos benchmarks de detección de alucinaciones.
Los enfoques de referencia se basan en indicadores de atención o en varias respuestas. En distintas arquitecturas de LLM, el método muestra resultados competitivos.
| Enfoque | Base | Resultado de la evaluación |
|---|---|---|
| Método basado en la curvatura de Forman-Ricci | Indicadores topológicos de los grafos de atención | Supera a los enfoques de referencia en dos benchmarks; resultados competitivos en distintas arquitecturas de LLM |
| Enfoques de referencia basados en la atención | Indicadores de atención | Superados en dos benchmarks |
| Enfoques de referencia basados en varias respuestas | Varias respuestas | Superados en dos benchmarks |
Criterio práctico: la comprobación de una sola pasada no requiere varias respuestas y puede aplicarse a distintas arquitecturas de LLM.
