Agentes de IA modernos são capazes de executar longas sequências de ações: chamar funções, processar respostas de serviços, tomar decisões intermediárias. É difícil para um observador acompanhar cada passo, por isso, para controle de segurança, geralmente se usam monitores automáticos. Mas o que fazer se passos individuais parecem impecáveis, enquanto toda a cadeia gradualmente se desvia do que o usuário pediu?
Por que verificações locais não resolvem
Um agente de longo prazo pode, a cada passo, chamar uma ferramenta correta com argumentos plausíveis e, ainda assim, desviar-se de forma imperceptível: em vez da tarefa original, ele começa a resolver uma mais ampla ou relacionada, "puxando" evidências que o usuário não forneceu. Esse acúmulo de desvios é chamado de deriva de trajetória. Os sistemas de verificação existentes, em geral, analisam a conformidade local de ações individuais, ou emitem um veredito geral sobre toda a trajetória, ou avaliam o risco total. O problema é que eles não analisam especificamente os prefixos intermediários — como se desenvolve a relação entre a trajetória e a tarefa à medida que ela é executada.
Um trabalho recente no arXiv (2608.17718) descreve uma abordagem que tenta preencher essa lacuna. Os autores propõem o conceito de "confiança ontológica": é uma propriedade não de todo o caminho, mas de cada prefixo da trajetória, e uma propriedade definida em relação à tarefa original.
Três componentes da confiança
Para perceber o desvio a tempo, é preciso decompor a confiança em seus componentes. É exatamente isso que faz o monitor RGE — seu nome vem de Role, Goal, Evidence (Papel, Objetivo, Evidências). Formalmente, a confiança em um prefixo de trajetória é avaliada em três eixos:
- Papel — o agente permanece dentro dos limites da autoridade que o usuário concedeu, ou gradualmente "se autoatribui" um papel mais amplo?
- Objetivo — o quanto a direção atual do movimento corresponde ao objetivo autorizado, em vez de ser substituída por um objetivo semelhante, mas relacionado?
- Evidências — o agente se baseia em dados realmente presentes nas observações, ou em suposições implícitas e informações não solicitadas?
Esse controle triplo permite distinguir, por exemplo, um agente que parou de executar a tarefa de um agente que apenas muda a forma permitida de executá-la.
Como a verificação funciona
Um detalhe importante: o RGE não é uma "caixa-preta" que avalia a trajetória com um único modelo de ponta a ponta. Os modelos de linguagem aqui são usados apenas para obter representações estruturadas da tarefa e dos passos individuais. A atualização do estado de confiança, as projeções nos três componentes e a decisão sobre a intervenção são determinísticas. Graças a isso, o resultado é uma trajetória de confiança reproduzível: é possível dizer exatamente em que momento e por causa de qual componente surgiu a suspeita. Essa é uma decisão de engenharia importante, pois reduz a dependência dos caprichos do modelo grande e simplifica a auditoria.
O quanto isso funciona
Para validar a abordagem, os autores montaram um corpus de trajetórias com base em três ambientes diferentes: OSWorld, FinanceBench e EICU-AC. O corpus inclui execuções benignas (normais), exemplos de deriva com prefixos pareados e as chamadas falhas "pseudoconsistentes" — quando as ações parecem lógicas, mas na verdade são errôneas.
Nesse material, o RGE superou os baselines adaptados baseados em regras, modelos de juiz e shields em termos de detecção de deriva em prefixos. Com dois modelos avaliadores maiores, ele atinge mais de 93% de Drift F1 em cada benchmark, mantendo a cobertura de casos benignos em pelo menos 95,8%. Em outras palavras, ele raramente deixa passar uma deriva real e, ao mesmo tempo, não sobrecarrega o funcionamento normal com falsos alarmes.
No entanto, os pesquisadores caracterizaram honestamente também a limitação. As falhas "pseudoconsistentes" continuam sendo um caso difícil: sua detecção depende fortemente de o resultado da execução da tarefa ser visível externamente. Se não há confirmação explícita de sucesso ou fracasso no mundo externo, o monitor nem sempre consegue distinguir um desvio cuidadosamente mascarado de uma incerteza comum. Isso não é uma falha — é uma fronteira estrutural de qualquer abordagem que não tem acesso à semântica completa do mundo.
Conclusões
A principal lição deste trabalho é que é preciso observar não apenas os passos individuais, mas também a forma da trajetória como um todo. Uma abordagem prática pode ser: para cada prefixo, perguntar-se se o papel do agente mudou, se o objetivo foi substituído e se há evidências "estranhas". São exatamente essas três perguntas que formam a base de uma supervisão mais transparente e verificável de agentes de longo prazo. E, provavelmente, no futuro, a "confiança ontológica" se tornará uma métrica tão comum para agentes de IA quanto hoje são a precisão ou a latência.
