AgentBench

AgentBench est un outil open-source pour tester les grands modèles de langage (LLM) dans le rôle des agents autonomes. Les développeurs de l'Université Tsinghua l'ont créé pour évaluer l'efficacité des modèles à gérer des tâches pratiques qui se rapprochent des scénarios réels.

Histoire et origines

Le projet a été lancé par un groupe de recherche à l'Université Tsinghua. Le but principal que les créateurs se sont fixé était d'aller au-delà des tests de génération de texte standard et d'évaluer le comportement du modèle dans des environnements interactifs. Ceci est important parce que les modèles de langage moderne sont de plus en plus utilisés non seulement comme simples générateurs de réponses, mais comme outils à part entière pour effectuer des actions en plusieurs étapes.

Méthodologie de base

AgentBench demande aux modèles de résoudre des tâches dans huit environnements différents. Il s'agit notamment de la gestion du système d'exploitation, du travail avec les bases de données, de l'interaction avec les graphiques de connaissances, de la participation à un jeu de cartes numériques et de la résolution de puzzles qui nécessitent une réflexion non conventionnelle. En outre, trois environnements ont été adaptés à partir des ensembles de données existants : les tâches ménagères, les achats sur le Web et la navigation sur le Web. Cette approche permet une évaluation complète de la capacité d'un modèle à planifier, à prendre des décisions et à utiliser des outils.

En octobre 2024, une version mise à jour a été publiée — AgentBench FC. Il offre une prise en charge du format d'appel de la fonction et un déploiement entièrement conteneurisé via Docker Compose. Cela simplifie considérablement le processus de lancement de tous les environnements de test — maintenant, une seule commande est nécessaire pour démarrer.

Fonctions AgentBench

Pour qui est l'agent?

AgentBench est un outil professionnel qui sera utile pour des catégories spécifiques d'utilisateurs.

Agent d'IA Chercheurs et développeurs

D'abord et avant tout, la référence est destinée aux spécialistes travaillant sur la construction d'agents autonomes de l'IA. Ils peuvent utiliser AgentBench pour tester leurs modèles dans des conditions normalisées et comparer les résultats avec d'autres développements. Le code open-source sous licence permissive permet d'adapter les environnements de test à des tâches de recherche spécifiques.

Spécialistes de l'évaluation de la qualité des LLM

Pour ceux qui évaluent professionnellement la qualité des modèles de langue, AgentBench fournit un ensemble de scénarios prêts à l'emploi. La disponibilité de deux ensembles de données — Dev et Test — permet un réglage séparé du modèle et une validation finale. Ceci est particulièrement important pour construire des tests équitables et reproductibles.

Entreprises intégrant les LLM dans les flux de travail

Les organisations qui considèrent les modèles linguistiques comme une base pour l'automatisation des processus (travaillant avec des bases de données, des navigateurs ou des systèmes d'exploitation) peuvent utiliser la référence pour l'évaluation objective des candidats. Cela aide à sélectionner le modèle le plus approprié pour des tâches commerciales spécifiques avant de l'intégrer dans la production.

Comment utiliser AgentBench?

Le processus de travail avec AgentBench dépend de la version de l'outil que vous prévoyez utiliser.

Version classique

Pour travailler avec la version originale de AgentBench, vous devez configurer manuellement chacun des huit environnements. L'utilisateur sélectionne une tâche spécifique, charge l'ensemble de données correspondant et exécute l'évaluation du modèle. Les résultats peuvent ensuite être comparés aux données du tableau de bord public. Ce processus nécessite certaines compétences techniques, chaque environnement ayant ses propres spécificités de configuration.

AgentBench FC et Docker Compose

La version mise à jour de AgentBench FC simplifie significativement le déploiement. Grâce à la conteneurisation via Docker Compose, tous les environnements de test peuvent être lancés avec une seule commande. Cela permet d'économiser du temps et élimine la plupart des erreurs associées à la configuration manuelle de l'environnement. L'utilisateur doit simplement installer Docker, cloner le dépôt et exécuter la commande de lancement standard. Après cela, le modèle sera automatiquement testé dans tous les environnements.

De plus, une version étendue — VisualAgentBench — est disponible pour les modèles multimodaux. Il est conçu pour les tests dans des environnements visuels : du contrôle robot au travail avec des interfaces graphiques et la conception web.

Principales caractéristiques de AgentBench

Évaluation de l'autonomie du modèle

La fonction clé de AgentBench est de mesurer la capacité du modèle à agir sans intervention humaine. La référence vérifie si le modèle peut analyser son environnement de façon indépendante, prendre des décisions et effectuer des opérations en plusieurs étapes jusqu'à atteindre l'objectif final.

Essais multi-environnement

Huit environnements différents permettent d'évaluer le modèle sous différents angles. Travailler avec un système d'exploitation teste les compétences techniques, les énigmes testent la créativité et la logique, et le shopping web teste la capacité de planification et d'interaction avec les interfaces. Cette approche donne un aperçu complet des capacités du modèle.

Fonction Calling Support

La version de AgentBench FC prend en charge le format d'appel de la fonction. Cela signifie que le modèle peut appeler des fonctions externes de manière structurée, ce qui rapproche les essais des scénarios réels d'utilisation des LLM comme outils d'automatisation.

Essais multimodals

Pour les modèles qui traitent non seulement du texte mais aussi des images, la version VisualAgentBench est conçue. Il comprend des environnements avec perception visuelle — de l'interface graphique à la robotique — permettant d'évaluer la compréhension et l'action d'un modèle multimodal dans un contexte visuel.

Avantages de AgentBench

Ouverture et accessibilité

Tout ce qui concerne AgentBench — code, ensembles de données, résultats — est accessible au public. Une transparence totale permet à d'autres chercheurs de reproduire les résultats et de faire confiance aux données publiées. Le modèle de distribution gratuite rend l'outil accessible à toute personne ayant la capacité technique de l'exécuter.

Scénarios réalistes

Contrairement à de nombreux tests abstraits, AgentBench inclut des environnements proches des tâches réelles : gestion du système, shopping, navigation. Cela fournit une image plus objective de la façon dont le modèle se comportera dans le déploiement réel, plutôt que dans des conditions de laboratoire idéales.

Flexibilité et facilité de déploiement

La sortie de AgentBench FC avec Docker Compose containerization a résolu l'un des principaux problèmes de benchmarks — complexité de la configuration. Maintenant, les connaissances techniques minimales sont suffisantes pour effectuer des essais. De plus, la possibilité de tester des modèles texte et multimodal (via VisualAgentBench) rend l'outil polyvalent.

Inconvénients de l'agentBench

Barrière d'entrée élevée pour les débutants

Malgré la simplification de la version FC, l'utilisation d'AgentBench nécessite la compréhension des technologies telles que Docker, la ligne de commande et les principes de base du travail avec les modèles de langue. Pour les personnes sans expérience technique, l'outil sera difficile à maîtriser.

Information limitée dans les sources ouvertes

Actuellement, il y a relativement peu de documentation et d'instructions détaillées décrivant chaque étape de la configuration et des essais. Les utilisateurs doivent souvent trouver eux-mêmes le code ou s'appuyer sur des principes généraux de travail avec des outils similaires.

Champ d'application spécifique

Puisque AgentBench est un outil d'évaluation, sa valeur n'est réalisée que lorsque vous avez votre propre modèle à tester. Pour les utilisateurs finaux qui utilisent simplement des LLM prêts à l'emploi via l'API, la référence n'offre aucun avantage pratique.

Quels problèmes l'agentBench résolve - t - il?

Sélection optimale du modèle

Une des tâches principales Adresses AgentBench est d'aider à choisir le modèle le plus approprié pour un cas d'utilisation spécifique. En comparant les résultats du modèle sur le tableau de bord, un développeur peut décider quel modèle fonctionnera mieux, par exemple, avec des bases de données ou des interfaces Web.

Suivi des progrès de développement

Pour les groupes de recherche, l'indice sert de système de coordination : il permet de suivre l'amélioration d'un modèle avec chaque nouvelle itération et d'identifier les secteurs qui présentent encore des faiblesses nécessitant des améliorations.

Standardisation des essais

AgentBench résout le problème des "tests chacun à leur manière". Un ensemble unifié d'environnements et de ensembles de données permet de comparer les résultats des différentes équipes et modèles sur une base commune. La disponibilité d'ensembles de Dev et de Test séparés permet d'éviter de « superposer » le modèle pour tester les données.

Prix de l'agent

AgentBench est distribué sous un modèle gratuit, ce qui signifie qu'il est entièrement gratuit. Ceci s'applique à la fois à l'accès au code sur GitHub et au classement public avec des résultats. Les utilisateurs n'ont pas besoin de payer pour utiliser la référence.

Toutefois, les coûts indirects potentiels devraient être pris en considération. L'exécution de tous les environnements au format conteneur (Docker Compose) nécessite un serveur ou du matériel local avec suffisamment de ressources — CPU, mémoire et espace disque. De plus, si vous prévoyez tester des modèles commerciaux payés, les coûts de leurs demandes d'API ne sont pas couverts par AgentBench. Mais l'outil d'évaluation lui-même reste totalement libre.

Conditions d'utilisation pour AgentBench

Licence de code

Le code source AgentBench est publié sur GitHub sous licence ouverte. Cela signifie que les développeurs peuvent librement utiliser, modifier et adapter le code à leurs fins. Il est important de se conformer aux termes de la licence spécifique spécifiée dans le dépôt.

Utilisation des résultats

Les résultats de l'évaluation des modèles sont publiés dans le tableau de bord public. Tout utilisateur peut examiner les données et les utiliser à des fins de recherche, d'articles ou de sélection de modèles. Il n'y a généralement pas d'exigence d'attribution obligatoire, mais il est considéré comme une bonne pratique de citer la source lorsqu'on utilise les données du tableau de classement dans les publications.

Limites pratiques

Puisque AgentBench est un outil de test, son utilisation suppose que vous avez déjà votre propre modèle de langue ou accès à des API de modèle commercial. La référence elle-même ne permet pas d'accéder aux modèles, elle ne les évalue que. De plus, les essais en cours nécessitent un environnement technique avec Docker installé et suffisamment de ressources informatiques.

Disponibilité de l'agent

Ouvrir l'accès au code

Le dépôt de code AgentBench est accessible au public sur GitHub. N'importe qui peut cloner le projet, étudier le code, et l'utiliser dans ses propres développements. Cela rend l'outil accessible aux chercheurs du monde entier, peu importe leur emplacement géographique ou leurs capacités financières.

Tableau de classement public

Les résultats de l'évaluation des modèles sont publiés dans un tableau de bord public. Les utilisateurs peuvent suivre en temps réel quels modèles montrent les meilleurs résultats dans différents environnements. Le tableau de bord peut être consulté par quiconque sans inscription ni paiement.

Mises à jour et développement

Le projet évolue activement : en octobre 2024, la version AgentBench FC a été publiée, ainsi que la version VisualAgentBench pour les modèles multimodaux. Cela indique que l'outil est maintenu par les développeurs et s'adapte aux besoins changeants de la communauté.

Comment l'agent se distingue des alternatives

Environnement global

De nombreux points de repère existants pour l'évaluation des modèles linguistiques se concentrent sur un seul type de tâche, par exemple la production de texte ou la réponse aux questions. AgentBench couvre huit environnements variés, y compris le travail avec les systèmes d'exploitation, les bases de données et les navigateurs Web. Cette vaste couverture donne une image plus complète des capacités d'un modèle par rapport à des tests strictement spécialisés.

Focus sur l'autonomie

Dans la plupart des repères classiques, le modèle répond à une question ou effectue une action en une seule étape. AgentBench, cependant, évalue le modèle en tant qu'agent autonome : la capacité de planifier, de prendre des décisions intermédiaires et d'ajuster les actions en fonction de la rétroaction de l'environnement. C'est un niveau de complexité fondamentalement différent.

Ouverture et infrastructures

Bien qu'il existe d'autres points de repère ouverts, l'agent Bench se distingue par son infrastructure bien pensée. La version FC avec Docker Compose containerization et la prise en charge des appels de fonction est un pas en avant par rapport à de nombreuses alternatives qui nécessitent une configuration manuelle complexe. La version séparée de VisualAgentBench pour les modèles multimodaux distingue également cet outil des concurrents.

Conclusion

AgentBench est une référence professionnelle open-source pour l'évaluation des grands modèles linguistiques dans le rôle des agents autonomes. Grâce à huit environnements variés, un support d'appel fonctionnel dans la version FC et un déploiement conteneurisé via Docker Compose, l'outil fournit aux chercheurs et aux développeurs une plateforme de test pratique et normalisée. Le tableau de bord public, l'accès gratuit au code et la disponibilité d'une version séparée pour les modèles multimodaux font d'AgentBench un outil important dans l'écosystème moderne de développement des agents d'IA. Malgré certaines difficultés à la maîtriser pour les débutants, l'indice de référence est un moyen fiable d'évaluer l'aptitude pratique d'un modèle à résoudre des tâches réelles.