Pourquoi la fausse confiance des LLM n'est pas qu'un simple bug
Les modèles de langage modernes ont appris à s'exprimer de manière fluide et convaincante. Mais derrière cette conviction se cache souvent ce que les experts appellent des hallucinations : le modèle produit un contenu qui semble plausible, mais qui est entièrement inventé. Pour l'utilisateur, cela ressemble à un texte fluide et assuré — et c'est précisément pour cela que le problème est dangereux.
La plupart des détecteurs d'hallucinations habituels fonctionnent de manière grossière. Ils évaluent la réponse entière ou des phrases individuelles, signalant quelque chose comme « il semble y avoir une erreur ici ». Mais pour comprendre à quel endroit précis le modèle a « inventé un fait », une vérification plus fine est nécessaire — au niveau des tokens individuels. Seule la détection par token permet de localiser le fragment erroné et d'intervenir de manière ciblée dans la génération, sans toucher au reste du texte.
Les modèles MoE offrent par hasard un indice
Dans les architectures de type Mixture-of-Experts (MoE), un principe curieux est à l'œuvre : lors d'un seul passage direct, seul un sous-ensemble épars d'« experts » est activé, et non tout le réseau. Le choix de qui solliciter est effectué par le mécanisme de routage. Et c'est précisément à ce moment que surgissent des signaux internes qui n'existent tout simplement pas dans les architectures denses :
- l'entropie du routeur — à quel point le modèle est « incertain » quant à l'expert à solliciter ;
- les désaccords entre experts — à quel point leurs résultats intermédiaires divergent ;
- les schémas d'utilisation des experts — quels spécialistes sont le plus souvent sollicités.
Auparavant, ces signaux n'étaient presque pas utilisés pour détecter les hallucinations. Les chercheurs João Fonseca, Rodrigo Rodrigues et Paolo Romano, dans l'article arXiv:2608.17687, ont montré que c'était une erreur : les indicateurs cachés sont capables de révéler les moments où le modèle commence à inventer. Les travaux ont été présentés sur arXiv le 18 août 2026.
InnerExpert : un détecteur qui regarde à l'intérieur du modèle
La méthode InnerExpert proposée par les auteurs combine deux types de données : les signaux spécifiques aux MoE au niveau du routage et les représentations internes standard du transformeur. Le tout est regroupé en vecteurs de caractéristiques compacts pour chaque token. Ensuite, un classifieur léger traite ces vecteurs et détermine si le token est une hallucination.
La caractéristique clé est l'apprentissage automatique. Les étiquettes pour entraîner le détecteur sont créées par le pipeline LLM-as-a-judge, où un modèle de langage évalue la sortie d'un autre. Aucune annotation manuelle n'est requise. Cela signifie que le détecteur peut être rapidement adapté aux nouvelles versions des modèles génératifs, simplement en réexécutant le pipeline.
Ce que les tests ont montré
Les expériences ont couvert cinq ensembles de données et deux architectures MoE différentes. Lors des tests, InnerExpert a systématiquement surpassé les détecteurs existants. Les meilleurs résultats ont atteint 0,91 AUROC au niveau de la réponse entière et 0,76 AUROC au niveau des tokens individuels. Et pour cela, un seul passage direct suffit — il n'est pas nécessaire de lancer des modèles de vérification supplémentaires ou des générations répétées.
Un résultat élevé au niveau de la réponse est utile pour un filtrage grossier. Mais l'indicateur vraiment précieux est celui au niveau du token : il permet de localiser avec précision les morceaux de texte erronés et, par exemple, de les réécrire ou de les mettre en évidence pour l'utilisateur. Ce n'est plus « une erreur quelque part », mais un endroit précis dans la réponse.
Pourquoi c'est important
Les hallucinations restent l'un des principaux obstacles à l'adoption des LLM en médecine, en droit, en finance et dans d'autres domaines sensibles aux erreurs. La possibilité de scruter les signaux internes du modèle et d'anticiper ses « doutes » est une étape pratique supplémentaire vers une génération transparente. Les indicateurs cachés ne résolvent pas complètement le problème, mais ils offrent un outil fonctionnel, déjà disponible.
Il est par ailleurs intéressant de noter que le diagnostic des hallucinations est né des particularités de l'architecture elle-même. Les modèles MoE ont été créés pour la vitesse et l'efficacité, et leur structure interne s'est révélée inattendument utile pour le contrôle qualité. Les recherches futures iront sans doute encore plus loin — vers des signaux plus subtils au sein des experts et des mécanismes de routage.
