Benchmark Zero2Repo : les limites de la création autonome d’un projet à partir d’un répertoire vide

13 novembre 20263 vues

Une étude propose d’évaluer les agents de programmation sur une compilation complète du dépôt : en entrée, une spécification, un contrat d’interface et un environnement vierge ; la vérification repose sur des tests cachés, sans évaluateur LLM. Même les agents les plus performants réussissent rarement tous les tests, et la plupart des échecs sont dus à des exigences particulières qui ont été omises.

Benchmark Zero2Repo : les limites de la création autonome d’un projet à partir d’un répertoire vide

Ce que vérifie Zero2Repo

Le benchmark évalue la capacité d’un agent de programmation à créer un dépôt à partir de zéro. L’agent reçoit un document de spécifications produit, un contrat d’interface et un espace de travail vide. Il doit fournir un dépôt complet dans l’écosystème propre au projet.

L’évaluation porte sur la construction complète du projet. La note repose sur le dépôt final.

  • Entrée : document de spécifications produit, contrat d’interface, espace de travail vide.
  • Sortie : dépôt complet dans l’écosystème propre au projet.
  • Objet de l’évaluation : capacité à créer un dépôt à partir de zéro.

Conclusion : le benchmark vérifie la construction autonome à partir d’un répertoire vide. Critère pratique : l’utiliser pour évaluer les agents sur des tâches de construction complète de projets.

Comment les tâches sont créées

Le pipeline crée les tâches de manière indépendante du langage. Il sélectionne des projets open source réels dont les versions sont figées. Il les transforme ensuite en spécifications comportementales, en environnements reproductibles et en tests d’acceptation cachés.

Étapes :

  • Sélection de projets open source réels dont les versions sont figées.
  • Transformation en spécifications comportementales.
  • Préparation d’environnements reproductibles.
  • Création de tests d’acceptation cachés.

Validation :

  • L’implémentation de référence du projet d’origine réussit les tests.
  • Une vérification adversariale confirme que les tests rejettent les implémentations incorrectes.

Conclusion : la tâche repose sur une implémentation de référence et sur des tests ayant passé une vérification adversariale. Critère pratique : vérifier que les tests sont validés, et pas seulement que la tâche est décrite.

Comment l’agent est évalué

Le benchmark évalue des agents de programmation destinés à la production dans des conteneurs isolés. Les tests d’acceptation restent cachés jusqu’à la soumission explicite de la solution. La récompense est binaire : elle n’est accordée que si tous les tests sont réussis. Le benchmark n’utilise pas de juge LLM.

Critères :

  • Conteneur isolé pour l’agent.
  • Tests cachés jusqu’à la soumission de la solution.
  • Récompense binaire lorsque tous les tests sont réussis.
  • Absence de juge LLM.

Conclusion : réussir les tests en partie ne donne droit à aucune récompense. Critère pratique : pour comparer des agents, une évaluation où la réussite exige de passer tous les tests cachés est appropriée.

Langages et couverture de la version actuelle

Le pipeline et le système de test ne présupposent aucun langage de programmation particulier. La version actuelle comprend des tâches en Python, TypeScript, Go et C++.

Contenu de la version :

  • Python.
  • TypeScript.
  • Go.
  • C++.

Conclusion : le benchmark n’est pas lié à un seul langage, mais l’ensemble actuel de tâches se limite à quatre langages. Critère pratique : vérifier que le langage du projet correspond à ceux de la version.

Limites visibles dans les résultats

Les limites apparaissent sur un ensemble de 11 tâches. Ces tâches proviennent de dépôts que les modèles de pointe ont probablement rencontrés pendant leur entraînement.

Ce que montrent les résultats :

  • L’agent le plus performant résout 10 tâches sur 11.
  • Chaque soumission échouée réussit 90 à 99 % des tests cachés.
  • Pour les deux agents les plus performants, 67 à 100 % des tests échoués sont liés à un oubli ou à une règle rare de la spécification.
  • L’échec est lié à la précision du respect de la spécification, et non à l’absence d’un sous-système.
  • Les auteurs considèrent chacun de ces échecs comme un objectif d’amélioration spécifique.

Conclusion : la limite de la construction autonome tient à la mémorisation des règles rares et à l’exhaustivité de la spécification. Critère pratique : vérifier si l’agent respecte les règles rares de la spécification, et pas seulement s’il construit les sous-systèmes.

Foire aux questions

Matériaux connexes

Tous matériaux
FedSocket : des modèles échangeables dont l’exécution doit être possible chez le destinataire en contexte d’hétérogénéité multimodale
Nouvelles

FedSocket : des modèles échangeables dont l’exécution doit être possible chez le destinataire en contexte d’hétérogénéité multimodale

FedSocket est une approche selon laquelle le modèle échangé doit pouvoir être exécuté du côté du destinataire, tandis qu’une interface de prédiction commune Q relie des modèles privés hétérogènes. L’article décrit une agrégation tenant compte de l’appartenance, la transmission des seuls paramètres de Q accompagnés de compteurs, ainsi que des expériences menées sur six jeux de données, qui démontrent une amélioration de la précision en présence de modalités manquantes et la supériorité de l’inférence conjointe par rapport aux ensembles indépendants.

13 novembre 2026
CyberArena : les matchs en duel entre agents d’IA révèlent les limites des benchmarks de cybersécurité statiques
Nouvelles

CyberArena : les matchs en duel entre agents d’IA révèlent les limites des benchmarks de cybersécurité statiques

Le benchmark place deux agents dans des environnements isolés où les services évoluent en continu, puis agrège leurs actions au fil d’une série de manches en évaluations multidimensionnelles de leurs compétences offensives et défensives. Sur 466 matchs opposant 12 modèles récents, il a mis en évidence des différences de capacités là où les tests unilatéraux atteignent leurs limites, notamment en matière de planification sur plusieurs coups et de création de portes dérobées.

13 novembre 2026
Résistance des détecteurs face aux textes générés automatiquement puis paraphrasés : ce que les tests ont révélé
Recherche

Résistance des détecteurs face aux textes générés automatiquement puis paraphrasés : ce que les tests ont révélé

Cet article rassemble les résultats des tests d’outils qui réécrivent des fragments générés dans un style plus naturel. Après ce traitement, leur détectabilité diminue nettement, et les faux positifs persistants ne permettent pas de considérer le verdict du détecteur comme une preuve.

13 novembre 2026
Benchmark Zero2Repo : les limites de la création autonome d’un projet à partir d’un répertoire vide