Quels sont les dangers de la « couche de contrôle » pour les agents LLM
Les modèles de langage modernes travaillent rarement seuls. Ils sont le plus souvent déployés au sein d'un harnais d'agent — une couche intermédiaire qui donne au modèle accès à des outils, des extensions, une mémoire à long terme, des autorisations et des actions externes. C'est cette couche intermédiaire qui décide de ce que le modèle peut faire ou non.
Le problème est que les benchmarks de sécurité existants ne testent généralement que des scénarios d'attaque isolés ou un ensemble limité de conditions opérationnelles. Il est donc difficile de comprendre à quelle étape précise du fonctionnement du harnais une défaillance se produit : lors de la configuration, au moment de l'appel d'un outil ou lors de la reprise après incident. Les chercheurs ont proposé HarnessRisk, un benchmark qui examine la sécurité du harnais d'agent dans son ensemble, à toutes les étapes de son cycle de vie.
Six phases du cycle de vie du harnais
Les auteurs de l'étude ont décomposé la sécurité du harnais en six phases opérationnelles :
- Harness Configuration — configuration des paramètres et des droits d'accès ;
- Capability Extension — connexion de nouvelles capacités et extensions ;
- Runtime Operation — exécution des tâches en temps réel ;
- State Persistence — sauvegarde et restauration de l'état ;
- Action Control — contrôle des actions et des outils ;
- Incident Recovery — réaction aux pannes et reprise après incident.
Chaque phase est responsable de son propre domaine, et des vulnérabilités peuvent apparaître dans chacune d'elles. C'est précisément cette séparation qui permet de comparer la façon dont différents harnais font face aux attaques dans des conditions identiques.
Ce que contient HarnessRisk : scénarios et métriques
Le benchmark rassemble 128 scénarios isolés. Chaque scénario est conçu de manière astucieuse : une tâche utilisateur sûre est présentée au modèle, mais une instruction hostile est cachée à l'intérieur d'un artefact non fiable du flux de travail. Le modèle doit accomplir l'objectif légitime sans succomber à l'attaque intégrée dans l'artefact.
Chaque trajectoire est évaluée selon quatre métriques :
- Utility — dans quelle mesure la tâche initiale est bien accomplie ;
- Attack Success Rate — la proportion d'attaques menées avec succès ;
- Persistence — la durée pendant laquelle l'effet de l'attaque persiste ;
- Detection — l'efficacité avec laquelle le système détecte les risques.
Cette approche permet de voir non seulement « piraté ou non », mais aussi le coût de la sécurité pour l'utilité du modèle.
Ce que les tests ont montré
Les expériences ont été menées sur trois harnais, six modèles de langage et 14 combinaisons de modèles et de harnais. Les résultats se sont révélés hétérogènes : le taux de réussite des attaques variait de 12,6 % à 80,9 %, tandis que l'Utility restait dans une fourchette de 75,0 % à 97,6 %. En termes simples, un même modèle peut être presque invulnérable dans une configuration et franchement faible dans une autre.
La phase la plus vulnérable dans les trois harnais est Harness Configuration. Les attaques réussissent souvent non pas à cause d'exploits complexes, mais parce que, dans le cadre d'un flux de travail « autorisé », il est possible de modifier des paramètres qui affectent la sécurité. C'est un signal alarmant : même un harnais d'apparence correcte peut permettre à un attaquant de changer les règles du jeu.
Un résultat curieux concerne également la reconnaissance des risques. Certaines configurations détectent les attaques dans plus de 90 % des exécutions, mais laissent néanmoins passer une part significative d'attaques réussies. Autrement dit, le modèle « comprend » qu'il se passe quelque chose de dangereux, mais ne transforme pas cette compréhension en comportement sûr. La prise de conscience de la menace ne protège pas le système en soi.
Conclusions : la sécurité ne peut pas se mesurer « en moyenne »
La principale leçon de HarnessRisk est que la sécurité des systèmes d'agents dépend fortement de la combinaison spécifique du modèle et du harnais. Les évaluations moyennes du type « le modèle est sûr » ou « le harnais est sûr » en disent peu si l'on ne tient pas compte de la configuration dans laquelle ils opèrent.
Il faut évaluer les agents selon plusieurs domaines de responsabilité du harnais à la fois — de la configuration initiale à la reprise après incident. Et vérifier séparément comment le modèle se comporte face à une attaque intégrée dans un artefact de travail ordinaire. C'est seulement ainsi que l'on peut repérer les points faibles qui restent invisibles dans les benchmarks classiques.
