Pourquoi les modèles mentent avec assurance
Les grands modèles de langage modernes impressionnent par leur capacité à répondre à toutes sortes de questions. Mais derrière cette assurance se cache souvent un défaut sérieux : le modèle peut produire une réponse belle et cohérente fondée sur des faits inventés. L'une des causes clés est ce qu'on appelle le décalage des connaissances : lors de la phase de pré-entraînement, le modèle absorbe d'énormes quantités de données, et lors de la phase de fine-tuning pour des tâches spécifiques, on lui « grave » de nouvelles instructions. En conséquence, le modèle ne comprend pas toujours où s'arrête ce qu'il sait réellement et où commence le domaine de l'ignorance.
Des chercheurs de l'équipe de Joosung Lee et de ses collègues ont proposé une approche qui aide les modèles à dire honnêtement « je ne sais pas » lorsque la réponse dépasse réellement leurs compétences. Les travaux ont été acceptés comme Findings of EMNLP 2026 et publiés sur arXiv.
Évaluation des connaissances au niveau d'un exemple spécifique
La principale difficulté est de comprendre si le modèle connaît la réponse à une question précise, et non à un « sujet » dans son ensemble. Le modèle peut exceller dans un domaine et être totalement perdu dans un domaine voisin. C'est pourquoi les auteurs proposent d'évaluer la connaissance individuellement pour chaque requête.
Pour cela, on utilise une inférence multi-échantillonnage : le modèle est interrogé plusieurs fois avec la même question, puis on analyse la stabilité et la cohérence de ses réponses. Si les réponses sont reproduites avec un haut degré de confiance et concordent entre elles, le modèle « connaît » probablement le sujet. Si les réponses changent de manière chaotique ou si le modèle donne des versions différentes, c'est un signal que la connaissance est absente.
Cette approche fournit un indicateur plus fiable et plus granulaire que la simple confiance du modèle dans une génération unique. Elle devient la base pour l'apprentissage ultérieur.
Fine-tuning tenant compte de ce que le modèle sait déjà
L'indicateur de connaissance obtenu n'est pas utilisé comme une évaluation externe, mais comme un signal de contrôle pour le fine-tuning. L'idée est que le modèle doit être entraîné différemment sur différents exemples :
- Si le modèle connaît la réponse — le signal d'apprentissage est renforcé pour consolider le bon comportement et ne pas perdre les compétences déjà acquises.
- Si le modèle ne connaît pas la réponse — le signal est mis à l'échelle différemment, et le modèle est en outre encouragé à donner une réponse explicite « je ne sais pas », au lieu de générer un texte aléatoire ou semi-plausible.
Cette approche permet d'éviter la situation où le fine-tuning sur de nouvelles données « écrase » les frontières de connaissance du modèle et le pousse à répondre à tout, y compris à ce qu'il ne maîtrise pas. Au lieu de cela, le modèle apprend à reconnaître les requêtes qui dépassent son domaine de compétence et à le signaler honnêtement.
Comment mesurer que le modèle est devenu plus honnête
Réduire simplement le nombre d'hallucinations ne suffit pas — il est important que le modèle ne commence pas à refuser massivement de répondre à des questions qu'il connaît réellement. C'est pourquoi les chercheurs ont proposé des métriques spéciales pour évaluer l'incertitude. Elles évaluent non seulement la précision sur les questions « issues de la base de connaissances », mais aussi la capacité du modèle à distinguer les exemples connus des exemples inconnus.
Le résultat clé des expériences : la méthode proposée permet au modèle d'exprimer explicitement son incertitude lorsque les connaissances manquent, tout en ne perdant pas en précision sur les questions auxquelles il peut répondre. La distinction précise entre le connu et l'inconnu améliore régulièrement la performance finale — autrement dit, le modèle devient plus soigneux et plus fiable.
Conclusion
Savoir dire « je ne sais pas » n'est pas une faiblesse, mais une partie nécessaire de l'utilisation sûre des LLM. La méthode du knowledge-weighted fine-tuning rappelle : pour lutter contre les hallucinations, il n'est pas nécessaire de « bachoter » encore plus de faits. Il suffit d'apprendre au modèle à évaluer honnêtement ses propres limites et à ne pas les dépasser. Cette approche rend les modèles plus utiles dans les scénarios réels, où il vaut mieux obtenir un refus honnête qu'une désinformation assurée.
