COPEX aide à distinguer les vulnérabilités du modèle des faiblesses de l’infrastructure MCP

12 novembre 20266 vues

Le benchmark contrôlé fixe l’orchestration de l’agent et évalue uniquement le choix des outils par le modèle de langage dans 125 scénarios d’attaque via quatre canaux MCP. Sur 3 375 essais menés avec neuf modèles, le taux moyen de réussite des attaques s’est élevé à 64,4 %, tandis que la vérification conjointe des données d’entrée et du contexte l’a réduit de près de moitié.

COPEX aide à distinguer les vulnérabilités du modèle des faiblesses de l’infrastructure MCP

Les benchmarks existants évaluent souvent des agents déployés. Ils mêlent la susceptibilité du modèle aux mécanismes de protection, à l’orchestration et à la capacité globale à exécuter des tâches. Il est donc difficile de déterminer où se situe le point faible : dans le modèle ou dans la pile.

COPEX isole le modèle en tant que client MCP. La pile agentique environnante est fixée, et seul le modèle qui choisit les outils change. Ce banc d’essai permet de distinguer le choix des outils du fonctionnement du reste de l’infrastructure.

Critère pratique : une pile fixe pour évaluer la susceptibilité du modèle. COPEX ne remplace pas l’évaluation d’un agent déployé.

Fonctionnement du benchmark

COPEX couvre 25 types d’attaques, représentés dans 125 scénarios. Les attaques sont réparties sur quatre surfaces d’entrée : modèle/agent, client, serveur/outil et transport. Cette couverture permet de tester différentes couches d’un système MCP.

Le benchmark fixe la pile agentique environnante. Seul le modèle qui choisit les outils change. Le résultat du test reflète donc le comportement du modèle dans un environnement donné.

Critère pratique : couverture des surfaces d’entrée dans les scénarios.

Ce que montrent les tests

Sur 3 375 tests menés avec neuf modèles, le taux moyen de réussite des attaques s’est élevé à 64,4 %. Les moyennes selon les surfaces variaient de 58,3 % à 71,4 %.

Certaines attaques au niveau du client et du transport réussissent en partie en dehors du champ d’observation ou de contrôle du modèle. Cela permet de distinguer la vulnérabilité du système aux attaques de la susceptibilité du modèle.

Critère pratique : tenir compte de la surface d’attaque lors de l’interprétation du taux de réussite. Une partie des attaques réussies peut révéler une faiblesse de l’infrastructure, et non du modèle.

Protection au niveau de l’entrée

L’analyse conjointe des entrées et du contexte a réduit le taux de réussite des attaques de 49,6 %. La mesure a été effectuée par rapport au mode sans protection, sur un sous-ensemble de huit attaques.

La protection en entrée agit comme une couche distincte. Elle modifie le résultat des attaques, mais ne remplace pas l’évaluation du modèle et de l’infrastructure.

Critère pratique : mesurer l’effet de la protection sur le même sous-ensemble d’attaques.

Comment l’utiliser pour choisir un modèle

COPEX compare les modèles à pile fixe. Ce test montre comment le modèle choisit les outils, et non comment l’agent dans son ensemble exécute une tâche.

Quatre critères sont utiles pour choisir un modèle :

  • fixer la pile lors de la comparaison ;
  • couvrir les surfaces d’entrée ;
  • comptabiliser séparément les attaques hors du contrôle du modèle ;
  • tester la protection par l’analyse des entrées et du contexte.
CritèreÉvaluation d’un agent déployéÉvaluation isolée du modèle
Ce qui est évaluéLa susceptibilité du modèle, ainsi que les mécanismes de protection, l’orchestration et la capacité à exécuter des tâchesLe choix des outils par le modèle avec une pile fixe
Ce qui changeToute la pile agentiqueLe modèle uniquement
Comment interpréter le résultatL’effet du modèle et celui de l’infrastructure sont mêlésL’infrastructure est fixe, la contribution du modèle est visible
À quoi cela convientRéception du système dans son ensembleComparaison des modèles et recherche des points faibles de l’infrastructure

Critère pratique : un test isolé pour comparer les modèles, un test de l’agent déployé pour la réception du système.

Statut de publication

Article arXiv:2610.04378 : version v1 soumise le 3 octobre 2026. Dernière révision, v2 : 17 octobre 2026.

Le travail a été accepté en tant que poster au NeurIPS 2026 Workshop on Agents in the Wild.

Critère pratique : indiquer la version et la date dans la référence des chiffres.

Foire aux questions

Matériaux connexes

Tous matériaux
Correction probabiliste des prévisions de vagues : BridgeCast relie les modèles physiques à la réanalyse grâce à un appariement en continu
Recherche

Correction probabiliste des prévisions de vagues : BridgeCast relie les modèles physiques à la réanalyse grâce à un appariement en continu

Une méthode hybride est présentée. À l’aide de l’appariement de flux conditionnel, d’une architecture Transformer et de caractéristiques atmosphériques exogènes, elle convertit les sorties des modèles physiques de prévision de l’état de la mer en champs proches des réanalyses. Les auteurs font état d’un avantage constant par rapport aux anciennes méthodes de référence de pointe, pour différents délais de prévision et dans diverses régions.

12 novembre 2026
RLTLDR : l’agent tire lui-même les enseignements de son échec et en tient compte lors de sa tentative suivante
Nouvelles

RLTLDR : l’agent tire lui-même les enseignements de son échec et en tient compte lors de sa tentative suivante

Après un échec, l’agent reçoit le signal du vérificateur et doit le résumer en un indice ; l’entraînement se fait sur des paires « tâche — indice », sans enseignant ni solution de référence. Sur des benchmarks difficiles de programmation et d’utilisation d’outils, la méthode fait passer le Pass@1 de 0–1 % pour GRPO à 12–31 %, et c’est précisément l’assimilation de ces paires qui apporte la contribution décisive.

12 novembre 2026
OpenCollab : coordination programmable d’agents, environnement d’exécution contrôlé et mesure du respect des règles
Nouvelles

OpenCollab : coordination programmable d’agents, environnement d’exécution contrôlé et mesure du respect des règles

Le framework rassemble la définition de la structure d’interaction des agents, un environnement commun pour les expérimentations et une traçabilité détaillée des événements, tandis que l’indicateur Adherence introduit mesure dans quelle mesure l’exécution réelle respecte le schéma annoncé. Dans les benchmarks, la configuration Duo atteint un nouveau niveau SOTA, tandis que la variante mono-agent se distingue par la plus faible consommation de tokens.

11 novembre 2026
COPEX aide à distinguer les vulnérabilités du modèle des faiblesses de l’infrastructure MCP