NAQD-Env: suspensão seletiva de operações em agentes linguísticos

A essência da suspensão seletiva

NAQD Env é um ambiente sintético para avaliar as decisões de agentes linguísticos sobre a cessação seletiva de ações. A política de referência é determinística. Baseia-se em dependências explicitamente definidas entre evidências, permissões e restrições. Quando as evidências mudam, uma permissão é revogada ou é recebida uma instrução para parar, o agente deve suspender as ações afetadas. O agente mantém o trabalho não afetado. Só retoma as ações após uma correção suficiente. Critério: o ambiente verifica a seletividade da suspensão, não a paragem total.

Como funciona a avaliação

A avaliação utiliza 11 famílias de dependências. O conjunto inclui estruturas para desenvolvimento, famílias reservadas e combinações de estruturas reservadas. As métricas contabilizam separadamente as tentativas de violação e as violações cometidas pelo mecanismo de execução simulado. As métricas conjuntas refletem a conformidade com a política, o valor da tarefa, a cessação de ações, a retoma e a comunicação de eventos. Este conjunto distingue a intenção da violação efetiva. Também relaciona a segurança com a utilidade e a comunicação. Critério prático: analisar todas as métricas em conjunto, e não apenas o facto de o agente parar.

Resultados em três modelos

O estudo avaliou três modelos de pesos abertos. Estão afinados para seguir instruções e pertencem a duas famílias. Foram utilizadas três condições de prompt e 350 cenários fixos. No total, foram obtidos 3 150 episódios «modelo—prompt» antes da reprodução através do mecanismo de execução. Nas condições analisadas, a taxa de cessação de ações não ultrapassou 0,06. Não se observou nenhuma retoma correta quando havia oportunidades adequadas. Apenas um episódio correspondeu integralmente à política de referência.

Comparação dos modelos com o prompt NAQD:

Conclusão: mesmo com um prompt específico, os modelos raramente seguem integralmente a política de referência. A melhoria da segurança pode reduzir o trabalho útil. Critério prático: verificar não só as tentativas de violação, mas também a preservação das ações não afetadas.

Limitações do ambiente e do ajuste fino

O ambiente avalia a aplicação da política na presença de dados de entrada estruturados e fidedignos. Não comprova a capacidade de contenção em situações reais nem de verificação das fontes. Nos testes de investigação de ajuste fino controlado, a precisão das decisões do Qwen2.5-3B aumentou. Um diagnóstico separado revelou que, após lacunas no programa de formação, ocorreram cessações de ações inadequadas. Também mostrou uma diminuição da frequência de comunicação de eventos. O trabalho de Mohamed Abouzahra foi submetido em 29 set. 2026. Critério prático: o ajuste fino requer testes para detetar paragens inadequadas e avaliar a qualidade da comunicação de eventos.

Conclusão prática para a seleção

NAQD Env mede a suspensão seletiva em condições controladas. O ambiente utiliza dados de entrada estruturados e fidedignos. Não oferece garantias de contenção em situações reais nem de verificação das fontes. Ao selecionar um agente, importa analisar a taxa de cessação, a correção da retoma, a preservação do trabalho não afetado e a comunicação de eventos. O ajuste fino pode aumentar a precisão das decisões, mas acarreta o risco de paragens inadequadas e de uma comunicação reduzida. Critério: utilizar o ambiente como ferramenta de diagnóstico da política, não como confirmação da fiabilidade em situações reais.