TeachBack : l’optimisation bidirectionnelle des préférences apprend au modèle tuteur à explorer la tâche plutôt qu’à réciter la réponse de référence
La méthode TeachBack a été proposée : au cours de l’autodistillation sur sa propre politique, elle permet à l’enseignant d’élaborer une stratégie de résolution répétée du problème, plutôt que de s’appuyer sur une solution de référence privilégiée. Sur des tâches de raisonnement mathématique et logique, elle montre une amélioration constante des performances de l’élève par rapport aux méthodes OPSD connues.
Pourquoi un Teacher précis ne garantit pas une supervision utile
L’auto-distillation on-policy (OPSD) permet à un modèle de langage d’apprendre auprès d’un Teacher. Le Teacher repose sur le même modèle. Il a toutefois accès à des informations privilégiées. Une solution de référence en est un exemple. Cet accès permet au Teacher de générer des trajectoires très précises.
Cependant, la précision des trajectoires ne garantit pas qu’elles soient adaptées au Student. L’accès à la solution complète peut conduire à des raisonnements abrégés. Ces raisonnements sont dus à la solution de référence. Ils ne comportent ni exploration, ni vérification, ni autocorrection. Ces éléments sont nécessaires pour résoudre des problèmes sans informations privilégiées.
Caractéristiques d’une trajectoire adaptée à l’entraînement du Student :
- elle comporte une exploration du problème ;
- elle inclut la vérification des étapes intermédiaires ;
- elle montre une autocorrection ;
- elle ne reproduit pas un raisonnement abrégé fondé sur la solution de référence.
Critère pratique : évaluer la supervision en fonction de la structure du raisonnement, et pas seulement de l’exactitude de la réponse.
Comment TeachBack modifie le comportement du Teacher
TeachBack est un cadre d’apprentissage bidirectionnel par préférences pour l’OPSD. Il apprend au Student à partir du Teacher. Il façonne également la manière dont le Teacher doit enseigner.
Le cadre régule le comportement du Teacher de deux façons :
- il régule la longueur du suffixe de raisonnement fondé sur la solution de référence dans le prompt ;
- il modifie le style du prompt.
À précision comparable, le Teacher commence à explorer le problème et à le résoudre à nouveau. Il dépend moins de la solution de référence.
Critère pratique : vérifier si le Teacher reproduit la recherche et la vérification. Un raisonnement abrégé fondé sur la solution de référence ne convient pas à l’entraînement d’un Student qui ne dispose pas d’informations privilégiées.
Mécanisme des préférences bidirectionnelles
À chaque mise à jour de la génération de trajectoires, la politique commune génère deux trajectoires. La première est la trajectoire privilégiée du Teacher. La seconde est celle du Student, qui ne dispose que de l’énoncé du problème.
La fonction de préférence par paires utilise les trajectoires privilégiées du Teacher pour améliorer l’entraînement du Student. La préférence inverse utilise le comportement du Student. Elle façonne la future supervision du Teacher dans des conditions privilégiées.
| Direction | Fondement de la préférence | Ce qui est amélioré |
|---|---|---|
| Préférence directe | Trajectoires privilégiées du Teacher | Entraînement du Student |
| Préférence inverse | Comportement du Student | Future supervision du Teacher dans des conditions privilégiées |
Critère pratique : présence d’une préférence inverse qui utilise le comportement du Student.
Ce que montrent les expériences
Les expériences évaluent TeachBack sur des tâches de raisonnement. Résultats :
- tâches — raisonnement mathématique et logique ;
- base de comparaison — méthodes OPSD existantes et méthodes de référence apparentées ;
- effet — amélioration stable des résultats du Student.
Critère pratique de sélection : des tâches de raisonnement dans lesquelles le Student résout le problème sans solution de référence.
Foire aux questions
Matériaux connexes
Tous matériaux
Évaluation des agents de programmation pour le développement XR interactif : résultats de GenXR-Bench
GenXR-Bench est publié : un ensemble de 112 tâches expertes pour évaluer de bout en bout les agents de programmation dans le développement XR interactif, de l’amélioration de fonctionnalités et de la correction de défauts à la création d’applications dont le comportement est testé sur du matériel grand public. Parmi les dix modèles testés, le meilleur résultat a été de 50,9 % en Pass@1 ; les défaillances récurrentes concernent notamment la gestion des événements asynchrones des capteurs, l’ancrage des objets dans l’espace réel et la compréhension des interactions dans un contexte physique.
5 novembre 2026
De la récompense scalaire au front de Pareto : synthèse RTL par LLM avec apprentissage par renforcement multicritère
Une méthode est proposée pour entraîner un modèle de langage à générer non pas un seul schéma, mais un ensemble de candidats RTL offrant différents compromis entre surface, latence et consommation d’énergie ; la récompense est calculée en fonction de la contribution de chaque variante à l’hypervolume du front de Pareto. Sur RTLLM v2, l’hypervolume relatif a augmenté de 13,3 points de pourcentage par rapport à la version de base sans optimisation PPA et de 14,4 points de pourcentage par rapport à l’apprentissage par renforcement mono-objectif.
5 novembre 2026
Les LLM médicales sont informés des révisions des recommandations, mais répondent souvent selon les anciennes règles
L’étude de ChronoEvo portant sur 1 709 changements dans les recommandations cliniques montre que, dans le modèle principal, 90,8 % des réponses repéraient la nouveauté, mais que seules 58,5 % l’appliquaient intégralement, avec un écart de 32,3 points de pourcentage observé dans 14 modèles. Même en renforçant la visibilité des mises à jour, le transfert intégral des nouvelles règles dans les recommandations cliniques n’a pas connu de hausse significative.
4 novembre 2026