Los agentes de IA modernos son capaces de ejecutar largas secuencias de acciones: llamar funciones, procesar respuestas de servicios, tomar decisiones intermedias. Al observador le resulta difícil seguir cada paso, por lo que para el control de seguridad se suelen utilizar monitores automáticos. Pero, ¿qué ocurre si los pasos individuales parecen impecables y toda la cadena se va desviando gradualmente de lo que pidió el usuario?
Por qué las comprobaciones locales no bastan
Un agente a largo plazo puede ejecutar en cada paso la herramienta correcta con argumentos plausibles y, aun así, desviarse de forma imperceptible: en lugar de la tarea original, empieza a resolver una más amplia o relacionada, «atrae» evidencias que el usuario no proporcionó. Esta acumulación de desviaciones se denomina deriva de trayectoria. Los sistemas de verificación existentes, por lo general, o se fijan en la correspondencia local de las acciones individuales, o emiten un veredicto general sobre toda la trayectoria, o evalúan el riesgo acumulado. El problema es que no analizan precisamente los prefijos intermedios: cómo evoluciona la relación entre la trayectoria y la tarea a medida que esta se ejecuta.
Un trabajo reciente en arXiv (2608.17718) describe un enfoque que intenta cubrir esta brecha. Los autores proponen el concepto de «confianza ontológica»: no es una propiedad de todo el camino, sino de cada prefijo de la trayectoria, y además una propiedad definida en relación con la tarea original.
Tres componentes de la confianza
Para detectar a tiempo una desviación, es necesario descomponer la confianza en sus componentes. Esto es precisamente lo que hace el monitor RGE — su nombre proviene de Role, Goal, Evidence. Formalmente, la confianza en un prefijo de trayectoria se evalúa según tres ejes:
- Rol — si el agente se mantiene dentro de las facultades que le otorgó el usuario o si, gradualmente, se «autodesigna» un rol más amplio.
- Objetivo — en qué medida la dirección actual del movimiento corresponde al objetivo autorizado y no se sustituye por uno similar pero relacionado.
- Evidencias — si el agente se apoya en datos realmente presentes en las observaciones o en suposiciones implícitas e información no solicitada.
Este triple control permite distinguir, por ejemplo, entre un agente que ha dejado de realizar la tarea y un agente que solo cambia la forma permitida de ejecutarla.
Cómo funciona la verificación
Un detalle importante: RGE no es una «caja negra» que evalúa la trayectoria con un único modelo de extremo a extremo. Aquí los modelos de lenguaje se utilizan únicamente para obtener representaciones estructuradas de la tarea y de los pasos individuales. La actualización del estado de confianza, la proyección en los tres componentes y la decisión de intervención son deterministas. Gracias a esto, a la salida se obtiene una trayectoria de confianza reproducible: se puede decir con precisión en qué momento y debido a qué componente concreto surgió la sospecha. Esta es una decisión de ingeniería importante porque reduce la dependencia de los caprichos del modelo grande y simplifica la auditoría.
Qué tan efectivo es
Para probar el enfoque, los autores recopilaron un corpus de trayectorias basado en tres entornos diferentes: OSWorld, FinanceBench y EICU-AC. El corpus incluye ejecuciones benignas (normales), ejemplos de deriva con prefijos emparejados y los llamados fallos «pseudoconsistentes» — cuando las acciones parecen lógicas pero en realidad son erróneas.
Con este material, RGE superó a los baselines adaptados basados en reglas, a los modelos juez y a los escudos en cuanto a la detección de deriva en prefijos. Con dos modelos evaluadores más grandes, alcanza más del 93% de Drift F1 en cada benchmark, manteniendo al mismo tiempo una cobertura de casos benignos de al menos el 95,8%. En otras palabras, rara vez pasa por alto una deriva real y, al mismo tiempo, no satura el funcionamiento normal con falsas alarmas.
Sin embargo, los investigadores caracterizaron honestamente también la limitación. Los fallos «pseudoconsistentes» siguen siendo un caso difícil: su detección depende en gran medida de si el resultado de la ejecución de la tarea es visible externamente. Si en el mundo exterior no hay una confirmación explícita de éxito o fracaso, el monitor no siempre puede distinguir una desviación cuidadosamente enmascarada de una incertidumbre ordinaria. Esto no es una deficiencia: es un límite estructural de cualquier enfoque que no tiene acceso a la semántica completa del mundo.
Conclusiones
La principal lección de este trabajo es que hay que vigilar no solo los pasos individuales, sino también la forma de la trayectoria en su conjunto. El enfoque práctico puede ser el siguiente: para cada prefijo, preguntarse si ha cambiado el rol del agente, si se ha sustituido el objetivo y si hay evidencias «ajenas». Estas tres preguntas son la base de una supervisión más transparente y verificable de los agentes a largo plazo. Y, probablemente, en el futuro la «confianza ontológica» se convierta en una métrica tan habitual para los agentes de IA como hoy lo son la precisión o la latencia.
