Verificación de políticas de agentes sin depender del prompt: entornos de ejecución, conjuntos de pruebas y filtro entrenable

20 noviembre 20260 vistas

El trabajo propone un marco que convierte entornos ejecutables en conjuntos de escenarios para probar políticas de agentes y permite mejorar iterativamente el componente de protección. El filtro entrenado reduce la tasa de infracciones exitosas en un 40–44 % frente a depender únicamente de las instrucciones del prompt y rechaza erróneamente con menos frecuencia las solicitudes seguras.

Verificación de políticas de agentes sin depender del prompt: entornos de ejecución, conjuntos de pruebas y filtro entrenable

Límite del prompt: por qué las instrucciones no bastan

En los despliegues personalizados de agentes, las políticas establecen reglas para las herramientas, los recursos y las condiciones de ejecución. Incluir estas reglas en el prompt no garantiza que se eviten las infracciones. El prompt establece el texto, pero no verifica la llamada real. En todos los casos de infracción se utiliza una herramienta permitida. Por tanto, hay que verificar los argumentos, los recursos y el contexto, no solo el nombre de la herramienta.

Para entrenar un mecanismo de protección se necesitan ejemplos de llamadas que cumplan la política y que la infrinjan. Sin esos pares, la verificación se basa en el texto de las reglas, no en el comportamiento observado.

Criterio práctico: considerar el prompt solo como portador de las reglas. Basar la verificación en los datos de las llamadas y sus resultados.

Entorno ejecutable: verificación de la llamada real

AgentPolicyForge utiliza entornos ejecutables para crear pruebas de referencia de políticas y entrenar mecanismos de protección de forma iterativa. El entorno ejecuta llamadas a herramientas y registra los resultados. Estos resultados permiten determinar si se cumple la política. Esto difiere de leer el prompt: la verificación se basa en la ejecución real.

Elementos clave de la verificación:

  • ejecución de la llamada en el entorno;
  • registro del resultado de la llamada;
  • comparación de los argumentos, los recursos y el contexto con la política;
  • uso de una herramienta permitida en los ejemplos de infracción.

Conclusión: una prueba de referencia debe ejecutarse. El criterio para elegir un entorno es que conserve los resultados y permita verificar los argumentos, los recursos y el contexto.

PolicyGym: escenarios de entrenamiento y pruebas reservadas

A partir del framework se creó PolicyGym, un conjunto de datos que abarca diez familias de políticas. Incluye 698 escenarios para generar datos de entrenamiento. Además, cuenta con 254 escenarios reservados para conjuntos de prueba.

Parte del conjuntoFinalidadVolumen
Escenarios para generar datos de entrenamientoPreparación de ejemplos de entrenamiento698
Escenarios reservadosConjuntos de prueba254

Los escenarios reservados han sido revisados por personas. Criterio práctico: mantener separados los escenarios de entrenamiento y los reservados. El conjunto de prueba debe ser independiente de la generación de datos de entrenamiento.

Filtro entrenado frente a la autorregulación del agente

En PolicyGym se comparan dos enfoques: la autorregulación del agente teniendo en cuenta la política y un mecanismo de protección entrenado. La configuración final con el mecanismo de protección reduce relativamente entre un 40 y un 44 % la proporción de ataques exitosos. También produce menos rechazos erróneos de solicitudes inocuas que la aplicación exclusiva de políticas en el prompt.

ConfiguraciónQué utilizaResultado según los datos
Solo políticas en el promptTexto de las políticasReferencia de comparación
Configuración final con mecanismo de protecciónFiltro entrenadoReducción de los ataques exitosos del 40 al 44 %; menos rechazos erróneos

Criterio práctico: comparar el mecanismo de protección con la referencia del prompt. Evaluar tanto los ataques exitosos como los rechazos erróneos.

Ciclo iterativo: ataque, ajuste fino y actualización del archivo

El proceso de creación de ejemplos permite entrenar el mecanismo de protección de forma iterativa. Un atacante genera solicitudes utilizando estrategias extraídas. El mecanismo de protección se ajusta con ejemplos equilibrados y verificados en el entorno. El entrenamiento mejora la eficacia de la aplicación de las políticas incluso con un archivo fijo.

Actualizar el archivo produce un efecto adicional. Reduce la tasa de éxito de los ataques dentro del dominio en comparación con mantener el archivo sin cambios.

Etapas del ciclo:

  1. Extraer estrategias de ataque.
  2. Generar solicitudes de ataque.
  3. Verificar los ejemplos en un entorno ejecutable.
  4. Equilibrar los ejemplos y ajustar el mecanismo de protección.
  5. Actualizar el archivo de ataques.

Criterio práctico: incorporar un ciclo de actualización del archivo y verificación de los ejemplos en el entorno. Un archivo fijo ya produce un efecto de entrenamiento. La actualización añade una reducción de la tasa de éxito de los ataques dentro del dominio.

Preguntas frecuentes

Material similar

Todos los materiales
PerMIT: integridad de la memoria a largo plazo de los agentes LLM y confianza colectiva con verificación por máquina
Noticias

PerMIT: integridad de la memoria a largo plazo de los agentes LLM y confianza colectiva con verificación por máquina

Los autores proponen la arquitectura PerMIT, que limita la entrada de datos no confiables del entorno en las acciones sensibles del agente mediante una interfaz de memoria finita; dos teoremas verificados en Lean 4 y la acumulación de veredictos de la comunidad reducen el riesgo de envenenamiento sin aumentar la carga para cada usuario. En experimentos con Trojan Hippo y τ²-bench, el esquema no registró inyecciones exitosas con verificadores ligeros y mejoró los resultados de los agentes nuevos en tareas de evaluación diferida.

20 noviembre 2026
Sistema de IA multiagente compuesto con un circuito de evidencia para la planificación de protones en tumores de cabeza y cuello
Noticias

Sistema de IA multiagente compuesto con un circuito de evidencia para la planificación de protones en tumores de cabeza y cuello

El trabajo describe la combinación de una política PPO entrenada, que genera varias opciones de plan, y agentes LLM que mantienen un diálogo de уточнение guiado por la verificación de métricas clínicas y restricciones; en una muestra de 21 pacientes, Qwen3-14B, ajustado con entrenamiento adicional, siguió mejor las instrucciones y ayudó a orientar el equilibrio hacia los objetivos prioritarios. La conclusión práctica es que la planificación DRL automatizada puede complementarse con un diálogo guiado, manteniendo el control sobre las restricciones en conflicto.

20 noviembre 2026
Selección computacional en lugar de prueba y error empírica: nuevos enfoques para los materiales de baterías
Investigación

Selección computacional en lugar de prueba y error empírica: nuevos enfoques para los materiales de baterías

El artículo muestra cómo las bases de datos computacionales, el aprendizaje automático y los modelos generativos reducen el conjunto de composiciones prometedoras, mientras que los laboratorios automatizados aceleran su validación; aun así, el resultado depende de la síntesis y las pruebas, donde las predicciones pueden diferir de la conductividad real.

20 noviembre 2026
Verificación de políticas de agentes sin depender del prompt: entornos de ejecución, conjuntos de pruebas y filtro entrenable