Fig: intervenciones de juego controladas para evaluar el comportamiento social de agentes de IA

21 noviembre 20260 vistas

Fig recibe una descripción verbal del comportamiento buscado, la divide en variantes y modifica deliberadamente las condiciones del juego para inducir las acciones deseadas en los modelos. En escenarios válidos para seis patrones sociales, las intervenciones aumentaron en un 10,9 % la proporción media de intentos de realizar el comportamiento objetivo en comparación con los controles, y los autores proponen considerar los entornos multiagente como un banco de pruebas configurable para una evaluación reproducible.

Fig: intervenciones de juego controladas para evaluar el comportamiento social de agentes de IA

Propósito del sistema

Fig es un sistema basado en agentes (Finding Interactions in Games). Su propósito es detectar de forma intencionada comportamientos en entornos de juego. El sistema trabaja con el comportamiento de los modelos en un entorno de juego.

Fig no se limita a un único juego definido de antemano. El sistema genera nuevos juegos sociales o selecciona juegos existentes. En este enfoque, el entorno de juego funciona como una prueba controlada del comportamiento social.

Criterio práctico: Fig se tiene en cuenta para tareas en las que se necesita detectar comportamientos de forma intencionada en un entorno de juego.

De la descripción del comportamiento al escenario

Fig recibe una descripción del comportamiento en lenguaje natural. El sistema desglosa la descripción en subtipos de comportamiento. A continuación, Fig genera un nuevo juego social o selecciona uno existente.

Etapas del proceso:

  1. Introducir una descripción del comportamiento en lenguaje natural.
  2. Desglosar la descripción en subtipos de comportamiento.
  3. Generar un nuevo juego social o seleccionar uno existente.

Criterio: si el comportamiento se puede describir en lenguaje natural, Fig puede desglosarlo en subtipos y seleccionar un entorno adecuado.

Intervenciones y evaluación

Fig realiza intervenciones individuales o combinadas. Los objetos de las intervenciones son:

  • el motor del juego;
  • el comportamiento de los oponentes;
  • las instrucciones;
  • el contexto.

Para evaluar el comportamiento de los modelos, Fig combina comprobaciones mecánicas integradas y evaluaciones sintéticas basadas en rúbricas. Personas verificaron las intervenciones, los juegos generados y los mecanismos de evaluación.

Criterio: la comprobación en un escenario se basa en intervenciones, comprobaciones mecánicas y evaluaciones sintéticas basadas en rúbricas.

Resultados de la comprobación

Los escenarios válidos de Fig abarcaron seis tipos de comportamiento. La lista incluía cooperación, explotación, engaño, coordinación encubierta, traición y sabotaje.

IndicadorValor
Porcentaje de episodios con un intento de comportamiento objetivo en escenarios válidos45,2%
Aumento del porcentaje de intentos con intervenciones de Fig en pares «juego-comportamiento» frente a los juegos de control10,9% respecto a juegos de control comparables

Criterio: cada par «juego-comportamiento» se comprueba con un juego de control.

Conclusión práctica

Los autores muestran que los entornos multiagente pueden servir como plataformas de prueba programables. Estas plataformas permiten evaluar el comportamiento de forma intencionada, controlada y reproducible.

Los autores proporcionan un enlace al código en el registro del artículo en arXiv. Autores: Anrui Gu, Zhichao Wang, Nicolai Ouporov. Los autores presentaron el artículo el 20 de octubre de 2026; la última versión es del 26 de octubre de 2026.

Criterio de selección: si se necesita una evaluación intencionada, controlada y reproducible del comportamiento social de los agentes, el enfoque de Fig ofrece una estructura para realizarla.

Preguntas frecuentes

Material similar

Todos los materiales
Verificación de políticas de agentes sin depender del prompt: entornos de ejecución, conjuntos de pruebas y filtro entrenable
Noticias

Verificación de políticas de agentes sin depender del prompt: entornos de ejecución, conjuntos de pruebas y filtro entrenable

El trabajo propone un marco que convierte entornos ejecutables en conjuntos de escenarios para probar políticas de agentes y permite mejorar iterativamente el componente de protección. El filtro entrenado reduce la tasa de infracciones exitosas en un 40–44 % frente a depender únicamente de las instrucciones del prompt y rechaza erróneamente con menos frecuencia las solicitudes seguras.

20 noviembre 2026
PerMIT: integridad de la memoria a largo plazo de los agentes LLM y confianza colectiva con verificación por máquina
Noticias

PerMIT: integridad de la memoria a largo plazo de los agentes LLM y confianza colectiva con verificación por máquina

Los autores proponen la arquitectura PerMIT, que limita la entrada de datos no confiables del entorno en las acciones sensibles del agente mediante una interfaz de memoria finita; dos teoremas verificados en Lean 4 y la acumulación de veredictos de la comunidad reducen el riesgo de envenenamiento sin aumentar la carga para cada usuario. En experimentos con Trojan Hippo y τ²-bench, el esquema no registró inyecciones exitosas con verificadores ligeros y mejoró los resultados de los agentes nuevos en tareas de evaluación diferida.

20 noviembre 2026
Sistema de IA multiagente compuesto con un circuito de evidencia para la planificación de protones en tumores de cabeza y cuello
Noticias

Sistema de IA multiagente compuesto con un circuito de evidencia para la planificación de protones en tumores de cabeza y cuello

El trabajo describe la combinación de una política PPO entrenada, que genera varias opciones de plan, y agentes LLM que mantienen un diálogo de уточнение guiado por la verificación de métricas clínicas y restricciones; en una muestra de 21 pacientes, Qwen3-14B, ajustado con entrenamiento adicional, siguió mejor las instrucciones y ayudó a orientar el equilibrio hacia los objetivos prioritarios. La conclusión práctica es que la planificación DRL automatizada puede complementarse con un diálogo guiado, manteniendo el control sobre las restricciones en conflicto.

20 noviembre 2026
Fig: intervenciones de juego controladas para evaluar el comportamiento social de agentes de IA