La défaillance du contexte comme objet d’analyse
Les hallucinations dans les LLM sont liées à un échange de contexte perturbé entre les tokens lors de la génération causale. Cette relation est étudiée dans l’article arXiv:2609.21096, publié le 17 septembre 2026. Les auteurs sont Amir Jalilifard, Anderson Rocha, Eric Wong et Marcos Medeiros Raimundo.
L’article analyse les motifs topologiques des flux d’information au sein des graphes d’attention. L’objectif est de distinguer les réponses hallucinées des réponses non hallucinées.
Éléments clés de l’approche :
- Objet de l’analyse : le graphe d’attention, et non le texte de réponse final.
- Indicateur : la topologie des flux d’information entre les tokens.
- Tâche : distinguer les réponses hallucinées des réponses non hallucinées.
Conclusion : une perturbation de l’échange de contexte laisse une trace structurelle mesurable dans le graphe d’attention.
Courbure de Forman-Ricci et goulots d’étranglement de l’information
Le principal indicateur de l’article est la courbure de Forman-Ricci. Elle met en évidence des motifs structurels révélateurs de goulots d’étranglement de l’information dans les graphes d’attention.
La méthode prend en compte les caractéristiques semi-locales et globales du flux d’information entre les têtes d’attention. Ces caractéristiques sont liées aux réponses hallucinées.
Éléments pris en compte dans le calcul :
- Caractéristiques semi-locales du flux entre les têtes d’attention.
- Caractéristiques globales du flux entre les têtes d’attention.
- Lien entre ces caractéristiques et les réponses hallucinées.
Critère pratique : l’évaluation du flux dans son ensemble, y compris ses caractéristiques semi-locales et globales, est déterminante.
Trois signatures d’une réponse hallucinée
Les réponses hallucinées se distinguent par des modes de fonctionnement caractéristiques de l’attention. Ils se manifestent surtout dans la dernière couche du transformeur.
| Motif | Aspect du flux d’information | Où il est le plus marqué |
|---|---|---|
| Dépendance excessive au self-attention | Les tokens se replient sur eux-mêmes au lieu d’échanger du contexte | Dernière couche du transformeur |
| Extraction diffuse du contexte | Les informations provenant de tokens antérieurs sont collectées sans focalisation | Dernière couche du transformeur |
| Compression excessive de l’information | Le flux de contexte perd des détails | Dernière couche du transformeur |
Conclusion : trois modes d’attention différents convergent vers un même résultat : un échange de contexte perturbé.
Évaluation en un seul passage face aux approches de référence
La méthode a été évaluée sur plusieurs LLM et des benchmarks reconnus. L’approche en un seul passage surpasse systématiquement les approches de référence existantes sur deux benchmarks de détection des hallucinations.
Les approches de référence s’appuient sur des caractéristiques de l’attention ou sur plusieurs réponses. La méthode affiche des résultats compétitifs sur différentes architectures de LLM.
| Approche | Fondement | Résultat de l’évaluation |
|---|---|---|
| Méthode fondée sur la courbure de Forman-Ricci | Caractéristiques topologiques des graphes d’attention | Surpasse les approches de référence sur deux benchmarks ; résultats compétitifs sur différentes architectures de LLM |
| Approches de référence fondées sur l’attention | Caractéristiques de l’attention | Surpassées sur deux benchmarks |
| Approches de référence fondées sur plusieurs réponses | Plusieurs réponses | Surpassées sur deux benchmarks |
Critère pratique : l’évaluation en un seul passage ne nécessite pas plusieurs réponses et s’applique à différentes architectures de LLM.
