Réparation limitée des tactiques dans Lean 4 à l’aide des diagnostics du compilateur

16 novembre 20260 vues

Un module itératif est proposé : au lieu d’écarter une tactique rejetée, il demande au modèle correcteur de la corriger jusqu’à R fois en tenant compte de l’erreur Lean ; avec K candidats, cela augmente le taux de résolution des problèmes. Les expériences menées sur LeanDojo et Lean Workbook montrent que les gains proviennent principalement de défaillances d’exécution superficielles, au prix d’un temps de recherche accru.

Réparation limitée des tactiques dans Lean 4 à l’aide des diagnostics du compilateur

Ce que change la réparation limitée des tactiques

L’article examine la réparation limitée des tactiques dans Lean 4. La version de base s’appuie uniquement sur l’échantillonnage de tactiques et abandonne les étapes infructueuses. La réparation limitée conserve l’étape et la corrige à partir des diagnostics du compilateur. La recherche ne perd ainsi pas la direction choisie.

ApprocheTraitement d’une tactique infructueuseAppui
Échantillonnage seulAbandonne l’étapeCandidats tactiques
Réparation limitéeCorrige l’étape sur placeMessage d’erreur du compilateur

Critère pratique : la réparation complète l’échantillonnage de candidats, elle ne le remplace pas.

Fonctionnement d’une étape de recherche avec diagnostic du compilateur

La recherche fait appel à un module en ligne limité.

  • La recherche sélectionne K candidats tactiques.
  • Le modèle corrige une tactique infructueuse au maximum R fois.
  • La méthode transmet le message d’erreur du compilateur à un modèle de correction préentraîné.
  • Le modèle corrige l’étape rejetée sur place au lieu de l’abandonner.

Critère pratique : le diagnostic du compilateur sert d’entrée pour une correction locale de l’étape.

Budgets K et R

Le budget est défini par deux paramètres. K limite le nombre de candidats tactiques à chaque étape. R limite le nombre de corrections d’une tactique infructueuse. L’évaluation a testé K = 1, 3, 5, 8.

ParamètreRôleCe que montre l’évaluation
KNombre de candidats tactiques à chaque étapeValeurs testées : 1, 3, 5, 8
RLimite du nombre de corrections d’une tactique infructueuseLa réparation augmente le temps d’exécution, mais apporte des preuves supplémentaires

La correction augmente le temps d’exécution, mais permet de trouver des preuves supplémentaires. Elle est particulièrement utile lorsque l’échantillonnage est limité. Son effet décroît : la première tentative de correction apporte 84–96 % du gain total.

Critère pratique : lorsque l’échantillonnage est limité, la réparation est particulièrement utile, et les corrections supplémentaires ont un effet décroissant.

Ce que montre l’évaluation

La méthode augmente la proportion de problèmes résolus pour toutes les valeurs testées de K = 1, 3, 5, 8. Le gain relatif atteint 32 %. Sur un sous-ensemble de 1 990 théorèmes du benchmark LeanDojo, 82 théorèmes supplémentaires ont été résolus. Sur le benchmark Lean Workbook, la proportion de problèmes résolus a presque doublé. Aucune régression n’a été constatée.

Critère pratique : la réparation améliore la proportion de problèmes résolus pour les budgets K testés ; l’évaluation ne va pas au-delà.

Où la réparation aide, et où elle n’aide pas

Le gain est presque entièrement lié aux échecs peu profonds de l’exécution des tactiques. Il est très peu lié aux erreurs structurelles, telles que les incompatibilités de types.

Type d’échecLien avec le gain
Échec peu profond de l’exécution d’une tactiquePrincipale source de gain
Erreur structurelle, par exemple une incompatibilité de typesTrès peu liée au gain

Critère pratique : la réparation cible les échecs peu profonds de l’exécution des tactiques, et non les erreurs structurelles.

Foire aux questions

Matériaux connexes

Tous matériaux
Méthode Genesis Steering : pilotage par activation sur les données utilisées pour le fine-tuning
Nouvelles

Méthode Genesis Steering : pilotage par activation sur les données utilisées pour le fine-tuning

La méthode extrait un vecteur de contrôle à partir d’exemples contrastifs présents dans les données de fine-tuning et, si celles-ci ne sont pas disponibles, sélectionne des échantillons d’entraînement probables par inférence d’appartenance et constitue un jeu de données proxy. La partie théorique décrit le déplacement optimal vers la frontière de décision et l’évaluation sur des données proxy ; empiriquement, les données internes de Tülu-3-8B produisent un effet plus marqué que les jeux de données externes, tandis que l’utilité du proxy MIA sur Llama-3.1-8B-Instruct est limitée par le rapport entre les décalages directionnels.

16 novembre 2026
Apprentissage tabulaire en contexte avec des experts clairsemés : le modèle compact OrionMoE-Small-v1.0
Nouvelles

Apprentissage tabulaire en contexte avec des experts clairsemés : le modèle compact OrionMoE-Small-v1.0

Un modèle de base compact pour les tâches tabulaires est présenté : il prédit de nouvelles observations à partir d’un tableau de référence annoté, sans ajustement supplémentaire des paramètres. La sélection adaptative d’experts en fonction du jeu de données et des représentations des caractéristiques offre des résultats compétitifs, en particulier avec un contexte limité et une grande dimensionnalité.

15 novembre 2026
Recherche locale des décalages de covariables pour les profils avec des prévisions peu fiables
Nouvelles

Recherche locale des décalages de covariables pour les profils avec des prévisions peu fiables

L’article décrit un pipeline diagnostique qui identifie d’abord des groupes de patients interprétables pour lesquels le modèle affiche un faible niveau de confiance, puis vérifie la présence d’un décalage de covariables nuisible au sein de ces groupes. Lors d’expériences menées sur MIMIC-IV, avec trois tâches cliniques et trois décalages artificiels entre sous-groupes, cette approche a permis de localiser un décalage lié à l’âge, peu visible dans l’évaluation agrégée.

15 novembre 2026
Réparation limitée des tactiques dans Lean 4 à l’aide des diagnostics du compilateur