Vérification des politiques d’agents sans dépendre du prompt : environnements d’exécution, jeux de tests et filtre entraînable

20 novembre 20260 vues

Ce travail propose un cadre qui transforme des environnements exécutables en ensembles de scénarios permettant de tester les politiques des agents et d’améliorer le composant de protection de manière itérative. Le filtre entraîné réduit de 40 à 44 % le taux de violations réussies par rapport à une approche reposant uniquement sur les instructions du prompt, et rejette moins souvent à tort les requêtes sûres.

Vérification des politiques d’agents sans dépendre du prompt : environnements d’exécution, jeux de tests et filtre entraînable

Limites des prompts : pourquoi les instructions ne suffisent pas

Dans les déploiements personnalisés d’agents, les politiques définissent les règles applicables aux outils, aux ressources et aux conditions d’exécution. Inclure ces règles dans un prompt ne permet pas d’empêcher les violations de manière fiable. Le prompt définit le texte, mais ne vérifie pas l’appel réel. Dans tous les cas de violation, un outil autorisé est utilisé. Il faut donc vérifier les arguments, les ressources et le contexte, et pas seulement le nom de l’outil.

Pour entraîner un mécanisme de protection, il faut des exemples d’appels conformes à la politique et d’appels qui la violent. Sans ces paires, la vérification s’appuie sur le texte des règles, et non sur le comportement observé.

Critère pratique : considérer le prompt uniquement comme un support des règles. Fonder la vérification sur les données relatives aux appels et à leurs résultats.

Environnement d’exécution : vérification à partir de l’appel réel

AgentPolicyForge utilise des environnements d’exécution pour créer des tests de référence des politiques et entraîner des mécanismes de protection de manière itérative. L’environnement exécute les appels aux outils et enregistre les résultats. La conformité à la politique est déterminée à partir de ces résultats. Cela diffère de la lecture d’un prompt : la vérification se fait à partir de l’exécution réelle.

Éléments clés de la vérification :

  • exécution de l’appel dans l’environnement ;
  • enregistrement du résultat de l’appel ;
  • comparaison des arguments, des ressources et du contexte avec la politique ;
  • utilisation de l’outil autorisé dans les exemples de violation.

Conclusion : un test de référence doit être exécutable. Le critère de choix d’un environnement est sa capacité à conserver les résultats et à permettre la vérification des arguments, des ressources et du contexte.

PolicyGym : scénarios d’entraînement et tests différés

À partir du framework, PolicyGym a été créé : un jeu de données couvrant dix familles de politiques. Il comprend 698 scénarios pour générer des données d’entraînement. S’y ajoutent 254 scénarios différés destinés aux jeux de test.

Partie du jeu de donnéesObjectifVolume
Scénarios pour la génération de données d’entraînementPréparation d’exemples d’entraînement698
Scénarios différésJeux de test254

Les scénarios différés ont été vérifiés par des humains. Critère pratique : garder les scénarios d’entraînement et les scénarios différés séparés. Le jeu de test doit être distinct de la génération des données d’entraînement.

Filtre entraîné face à l’autorégulation de l’agent

PolicyGym compare deux approches : l’autorégulation de l’agent en fonction de la politique et un mécanisme de protection entraîné. La configuration finale avec mécanisme de protection réduit de 40 à 44 % le taux de réussite des attaques. Elle entraîne aussi moins de refus erronés de requêtes inoffensives que l’application des politiques dans le prompt seul.

ConfigurationÉléments utilisésRésultat constaté
Politiques dans le prompt uniquementTexte des politiquesRéférence de comparaison
Configuration finale avec mécanisme de protectionFiltre entraînéRéduction de 40 à 44 % des attaques réussies ; moins de refus erronés

Critère pratique : comparer le mécanisme de protection à la référence fondée sur le prompt. Évaluer à la fois les attaques réussies et les refus erronés.

Cycle itératif : attaque, entraînement complémentaire, mise à jour de l’archive

Le processus de création d’exemples prend en charge l’entraînement itératif du mécanisme de protection. L’attaquant génère des requêtes à partir des stratégies extraites. Le mécanisme de protection est entraîné davantage sur des exemples équilibrés, vérifiés dans l’environnement. L’entraînement améliore l’efficacité de l’application des politiques, même avec une archive fixe.

La mise à jour de l’archive apporte un effet supplémentaire. Elle réduit le taux de réussite des attaques au sein du domaine par rapport au maintien de l’archive inchangée.

Étapes du cycle :

  1. Extraire les stratégies d’attaque.
  2. Générer des requêtes pour l’attaquant.
  3. Vérifier les exemples dans l’environnement d’exécution.
  4. Équilibrer les exemples et entraîner davantage le mécanisme de protection.
  5. Mettre à jour l’archive des attaques.

Critère pratique : prévoir un cycle de mise à jour de l’archive et la vérification des exemples dans l’environnement. Une archive fixe produit déjà un effet d’entraînement. La mise à jour réduit davantage le taux de réussite des attaques au sein du domaine.

Foire aux questions

Matériaux connexes

Tous matériaux
PerMIT : intégrité de la mémoire à long terme des agents LLM et confiance collective vérifiée par machine
Nouvelles

PerMIT : intégrité de la mémoire à long terme des agents LLM et confiance collective vérifiée par machine

Les auteurs proposent l’architecture PerMIT, qui limite la transmission de données non fiables provenant de l’environnement vers les actions sensibles de l’agent au moyen d’une interface mémoire finie ; deux théorèmes vérifiés dans Lean 4 et l’accumulation des verdicts de la communauté réduisent le risque d’empoisonnement sans accroître la charge des utilisateurs individuels. Dans les expériences menées sur Trojan Hippo et τ²-bench, le système n’a détecté aucune injection réussie avec des vérificateurs légers et a amélioré les résultats de nouveaux agents sur des tâches différées.

20 novembre 2026
Système d’IA composite multi-agents avec boucle de validation fondée sur les preuves pour la planification en protonthérapie des tumeurs de la tête et du cou
Nouvelles

Système d’IA composite multi-agents avec boucle de validation fondée sur les preuves pour la planification en protonthérapie des tumeurs de la tête et du cou

Ce travail décrit une approche combinant une politique PPO entraînée, qui propose plusieurs options de plan, et des agents LLM menant un dialogue de clarification avec vérification des métriques cliniques et des contraintes ; sur un échantillon de 21 patients, Qwen3-14B, après affinage, a mieux suivi les instructions et contribué à orienter le compromis vers les objectifs prioritaires. La conclusion pratique est que la planification DRL automatisée peut être complétée par un dialogue guidé, tout en conservant le contrôle sur les contraintes concurrentes.

20 novembre 2026
Sélection computationnelle plutôt que tâtonnements empiriques : nouvelles approches des matériaux pour batteries
Recherche

Sélection computationnelle plutôt que tâtonnements empiriques : nouvelles approches des matériaux pour batteries

L’article montre comment les bases de données de calcul, l’apprentissage automatique et les modèles génératifs réduisent le champ des compositions prometteuses, tandis que les laboratoires automatisés accélèrent leur validation ; le résultat dépend toutefois de la synthèse et des essais, car les prédictions peuvent différer de la conductivité réelle.

20 novembre 2026
Vérification des politiques d’agents sans dépendre du prompt : environnements d’exécution, jeux de tests et filtre entraînable