Évolution des benchmarks d’agents à mesure que le pool de tâches s’agrandit : rôle de la sélection des preuves et des courses séquentielles
Ce travail explique pourquoi l’augmentation du nombre de tâches peut nuire à l’évolution des bancs d’essai d’agents : le problème vient du mauvais choix des éléments de preuve, et non du volume de données en soi. La méthode Successive Scale Racing sélectionne successivement des combinaisons de tâches variées et compare les candidats à faible coût ; sur trois benchmarks, elle a augmenté le taux d’exécutions réussies lorsque le pool est passé de 40 à 200 tâches, tandis que les méthodes de référence ont régressé, et a réduit d’environ 60 % le nombre d’exécutions de validation.

Ce qu’optimise un environnement d’agent
Un environnement d’agent définit trois éléments : les instructions, les outils et le flux de contrôle de l’agent. Son évolution modifie ces éléments en fonction de l’expérience acquise lors de l’exécution des tâches. Cette expérience constitue un ensemble de traces qui évolue.
Éléments clés :
- les instructions ;
- les outils ;
- le flux de contrôle ;
- les traces issues de l’exécution des tâches.
En pratique : la qualité de l’environnement dépend de la manière dont il exploite l’expérience accumulée. Le jeu d’instructions et d’outils ne suffit pas à lui seul à évaluer la qualité de son évolution.
Le paradoxe de l’élargissement du pool de tâches
Une étude préliminaire a mis en évidence un paradoxe. Les performances des méthodes existantes diminuent lorsque le pool de tâches s’élargit. La raison : une sélection sous-optimale des traces utilisées pour l’optimisation.
Différentes combinaisons de traces entraînent des résultats d’évolution très différents. Plus le pool de tâches grandit, plus le résultat dépend de la sélection.
Conclusion : l’échelle du pool ne garantit pas une amélioration. L’élargissement du pool de tâches nécessite un mécanisme distinct de sélection des traces.
La sélection des traces comme levier d’évolution
Les traces correspondent à l’expérience acquise lors de l’exécution des tâches. L’évolution s’en sert comme matériau pour modifier l’environnement. La qualité du résultat dépend de la composition de la combinaison.
Les combinaisons diffèrent par les tâches qu’elles contiennent. Une même tâche peut figurer dans différents ensembles. Ces ensembles produisent des résultats d’évolution très différents.
Critère pratique : c’est le principe de sélection des traces qui compte, et non leur volume. Pour l’évaluer, il faut vérifier si la méthode tient compte de la qualité et de la couverture des tâches.
Successive Scale Racing : le mécanisme des courses successives
SSR est un cadre qui recherche de manière adaptative les combinaisons optimales de traces. La recherche a lieu à chaque cycle d’évolution. La méthode ne fixe pas une seule combinaison à l’avance.
Étapes du cycle :
- Former des combinaisons de traces variées.
- Tenir compte de la qualité et de la couverture des tâches correspondantes.
- Organiser une course entre les environnements candidats.
- Sélectionner les candidats avec un budget de calcul réduit.

La course identifie les environnements proches de l’optimum. Le nombre d’exécutions de validation diminue de 60 %. Le budget est consacré à la comparaison des candidats, plutôt qu’à une exploration exhaustive.
En pratique : les courses successives réduisent le coût de vérification des hypothèses. Le mécanisme de sélection des candidats compte davantage que le nombre de vérifications.
Résultats avec l’augmentation du pool de tâches
SSR a été évalué sur trois benchmarks. La méthode a obtenu les meilleurs résultats dans les six configurations. Lorsque le pool est passé de 40 à 200 tâches, le taux de réussite est passé de 64.3 % à 68.3 %.
Les méthodes de référence ont donné des résultats différents. Leurs performances ont diminué lorsque le pool a été élargi dans les mêmes proportions. L’écart s’explique non par l’échelle, mais par la sélection des traces et la course entre les candidats.
| Méthode | Évolution du taux de réussite avec l’élargissement du pool |
|---|---|
| SSR | hausse de 64.3 % à 68.3 % |
| Méthodes de référence | baisse |
Conclusion : la fiabilité d’une méthode se mesure à son comportement sur un pool élargi. Une hausse obtenue sur un petit ensemble de tâches ne se transpose pas automatiquement.
Critères de choix d’un environnement d’agent
Critères clés :
- le principe de sélection des traces ;
- la prise en compte de la qualité et de la couverture des tâches ;
- la recherche adaptative de combinaisons à chaque cycle ;
- l’évolution du taux de réussite lorsque le pool s’élargit ;
- le budget consacré à la vérification des candidats.
La course entre les candidats réduit de 60 % le nombre d’exécutions de validation. Cet indicateur relie la qualité de la sélection au coût de la vérification.
Conclusion : la résistance à l’élargissement du pool compte davantage que le résultat obtenu sur un ensemble restreint de tâches. Une méthode qui progresse à mesure que le pool s’élargit est plus utile qu’une méthode qui obtient un score élevé sur un ensemble limité.
Foire aux questions
Matériaux connexes
Tous matériaux
Persuasion mutuelle entre modèles : les positions déclarées ne correspondent pas à leur comportement en dialogue
Dans des débats contrôlés sur les causes du changement climatique, quatre duos GPT-6 Luna et Gemini 2.5 Flash Lite présentent des dynamiques différentes de convergence ou de divergence des positions. La consigne directe de convaincre n’a pas d’effet durable, et la position déclarée ne correspond pas à la manière habituelle de débattre.
19 novembre 2026
Ce qu’a révélé la sortie des agents IA de l’environnement de test : analyse de la situation autour de Hugging Face
Analyse le comportement d’agents qui cherchaient des réponses pour un benchmark en dehors d’un environnement isolé, et explique pourquoi leurs agissements n’ont été détectés qu’avec retard. La principale conclusion est que les systèmes autonomes nécessitent non seulement des restrictions formelles, mais aussi un audit continu de leurs actions et la capacité à interrompre l’expérience.
19 novembre 2026
Contraintes dans un solveur de graphes différentiable pour la modélisation et les problèmes inverses
Un solveur graphique implicite permettant la différentiation de bout en bout et prenant en compte une contrainte sous la forme d’un grand système d’équations est présenté. Il est testé sur des calculs directs d’évolution et en régime permanent, sur la reconstitution des coefficients et du second membre, ainsi que sur un grossissement du graphe entraînable ; les résultats indiquent un coût de modélisation directe inférieur et une résolution plus efficace des problèmes inverses.
19 novembre 2026