COPEX aide à distinguer les vulnérabilités du modèle des faiblesses de l’infrastructure MCP
Le benchmark contrôlé fixe l’orchestration de l’agent et évalue uniquement le choix des outils par le modèle de langage dans 125 scénarios d’attaque via quatre canaux MCP. Sur 3 375 essais menés avec neuf modèles, le taux moyen de réussite des attaques s’est élevé à 64,4 %, tandis que la vérification conjointe des données d’entrée et du contexte l’a réduit de près de moitié.

Les benchmarks existants évaluent souvent des agents déployés. Ils mêlent la susceptibilité du modèle aux mécanismes de protection, à l’orchestration et à la capacité globale à exécuter des tâches. Il est donc difficile de déterminer où se situe le point faible : dans le modèle ou dans la pile.
COPEX isole le modèle en tant que client MCP. La pile agentique environnante est fixée, et seul le modèle qui choisit les outils change. Ce banc d’essai permet de distinguer le choix des outils du fonctionnement du reste de l’infrastructure.
Critère pratique : une pile fixe pour évaluer la susceptibilité du modèle. COPEX ne remplace pas l’évaluation d’un agent déployé.
Fonctionnement du benchmark
COPEX couvre 25 types d’attaques, représentés dans 125 scénarios. Les attaques sont réparties sur quatre surfaces d’entrée : modèle/agent, client, serveur/outil et transport. Cette couverture permet de tester différentes couches d’un système MCP.
Le benchmark fixe la pile agentique environnante. Seul le modèle qui choisit les outils change. Le résultat du test reflète donc le comportement du modèle dans un environnement donné.

Critère pratique : couverture des surfaces d’entrée dans les scénarios.
Ce que montrent les tests
Sur 3 375 tests menés avec neuf modèles, le taux moyen de réussite des attaques s’est élevé à 64,4 %. Les moyennes selon les surfaces variaient de 58,3 % à 71,4 %.
Certaines attaques au niveau du client et du transport réussissent en partie en dehors du champ d’observation ou de contrôle du modèle. Cela permet de distinguer la vulnérabilité du système aux attaques de la susceptibilité du modèle.
Critère pratique : tenir compte de la surface d’attaque lors de l’interprétation du taux de réussite. Une partie des attaques réussies peut révéler une faiblesse de l’infrastructure, et non du modèle.
Protection au niveau de l’entrée
L’analyse conjointe des entrées et du contexte a réduit le taux de réussite des attaques de 49,6 %. La mesure a été effectuée par rapport au mode sans protection, sur un sous-ensemble de huit attaques.
La protection en entrée agit comme une couche distincte. Elle modifie le résultat des attaques, mais ne remplace pas l’évaluation du modèle et de l’infrastructure.
Critère pratique : mesurer l’effet de la protection sur le même sous-ensemble d’attaques.
Comment l’utiliser pour choisir un modèle
COPEX compare les modèles à pile fixe. Ce test montre comment le modèle choisit les outils, et non comment l’agent dans son ensemble exécute une tâche.
Quatre critères sont utiles pour choisir un modèle :
- fixer la pile lors de la comparaison ;
- couvrir les surfaces d’entrée ;
- comptabiliser séparément les attaques hors du contrôle du modèle ;
- tester la protection par l’analyse des entrées et du contexte.
| Critère | Évaluation d’un agent déployé | Évaluation isolée du modèle |
|---|---|---|
| Ce qui est évalué | La susceptibilité du modèle, ainsi que les mécanismes de protection, l’orchestration et la capacité à exécuter des tâches | Le choix des outils par le modèle avec une pile fixe |
| Ce qui change | Toute la pile agentique | Le modèle uniquement |
| Comment interpréter le résultat | L’effet du modèle et celui de l’infrastructure sont mêlés | L’infrastructure est fixe, la contribution du modèle est visible |
| À quoi cela convient | Réception du système dans son ensemble | Comparaison des modèles et recherche des points faibles de l’infrastructure |
Critère pratique : un test isolé pour comparer les modèles, un test de l’agent déployé pour la réception du système.
Statut de publication
Article arXiv:2610.04378 : version v1 soumise le 3 octobre 2026. Dernière révision, v2 : 17 octobre 2026.
Le travail a été accepté en tant que poster au NeurIPS 2026 Workshop on Agents in the Wild.
Critère pratique : indiquer la version et la date dans la référence des chiffres.
Foire aux questions
Matériaux connexes
Tous matériaux
Correction probabiliste des prévisions de vagues : BridgeCast relie les modèles physiques à la réanalyse grâce à un appariement en continu
Une méthode hybride est présentée. À l’aide de l’appariement de flux conditionnel, d’une architecture Transformer et de caractéristiques atmosphériques exogènes, elle convertit les sorties des modèles physiques de prévision de l’état de la mer en champs proches des réanalyses. Les auteurs font état d’un avantage constant par rapport aux anciennes méthodes de référence de pointe, pour différents délais de prévision et dans diverses régions.
12 novembre 2026
RLTLDR : l’agent tire lui-même les enseignements de son échec et en tient compte lors de sa tentative suivante
Après un échec, l’agent reçoit le signal du vérificateur et doit le résumer en un indice ; l’entraînement se fait sur des paires « tâche — indice », sans enseignant ni solution de référence. Sur des benchmarks difficiles de programmation et d’utilisation d’outils, la méthode fait passer le Pass@1 de 0–1 % pour GRPO à 12–31 %, et c’est précisément l’assimilation de ces paires qui apporte la contribution décisive.
12 novembre 2026
OpenCollab : coordination programmable d’agents, environnement d’exécution contrôlé et mesure du respect des règles
Le framework rassemble la définition de la structure d’interaction des agents, un environnement commun pour les expérimentations et une traçabilité détaillée des événements, tandis que l’indicateur Adherence introduit mesure dans quelle mesure l’exécution réelle respecte le schéma annoncé. Dans les benchmarks, la configuration Duo atteint un nouveau niveau SOTA, tandis que la variante mono-agent se distingue par la plus faible consommation de tokens.
11 novembre 2026