Verificação de políticas de agentes sem depender de prompts: ambientes executáveis, conjuntos de testes e um filtro treinável

20 novembro 20260 visualizações

O trabalho propõe um framework que transforma ambientes de execução em conjuntos de cenários para testar políticas de agentes e permite melhorar iterativamente o componente de proteção. O filtro treinado reduz a taxa de violações bem-sucedidas em 40–44% em relação à abordagem baseada apenas em instruções no prompt e rejeita incorretamente pedidos seguros com menos frequência.

Verificação de políticas de agentes sem depender de prompts: ambientes executáveis, conjuntos de testes e um filtro treinável

Limite do prompt: porque as instruções não são suficientes

Em implementações personalizadas de agentes, as políticas definem regras para ferramentas, recursos e condições de execução. Incluir essas regras no prompt não garante que as violações sejam impedidas de forma fiável. O prompt define o texto, mas não verifica a chamada efetiva. Em todos os casos de violação, é utilizada uma ferramenta permitida. Portanto, é preciso verificar os argumentos, os recursos e o contexto, e não apenas o nome da ferramenta.

Para treinar um mecanismo de proteção, são necessários exemplos de chamadas que estejam em conformidade com a política e exemplos que a violem. Sem esses pares, a verificação baseia-se no texto das regras, e não no comportamento observado.

Critério prático: considerar o prompt apenas como veículo das regras. Basear a verificação nos dados das chamadas e nos respetivos resultados.

Ambiente de execução: verificação da chamada efetiva

O AgentPolicyForge utiliza ambientes de execução para criar testes de referência de políticas e treinar mecanismos de proteção de forma iterativa. O ambiente executa chamadas a ferramentas e regista os resultados. A conformidade com a política é determinada com base nesses resultados. Isto é diferente de ler o prompt: a verificação é feita com base na execução efetiva.

Elementos-chave da verificação:

  • execução da chamada num ambiente;
  • registo do resultado da chamada;
  • comparação dos argumentos, dos recursos e do contexto com a política;
  • utilização de uma ferramenta permitida nos exemplos de violação.

Conclusão: o teste de referência tem de ser executável. O critério para escolher um ambiente é a capacidade de guardar os resultados e de verificar os argumentos, os recursos e o contexto.

PolicyGym: cenários de treino e testes reservados

Com base na framework, foi criado o PolicyGym — um conjunto de dados que abrange dez famílias de políticas. Inclui 698 cenários para gerar dados de treino. Além disso, estão previstos 254 cenários reservados para conjuntos de teste.

Parte do conjuntoFinalidadeVolume
Cenários para gerar dados de treinoPreparação de exemplos de treino698
Cenários reservadosConjuntos de teste254

Os cenários reservados foram verificados por pessoas. Critério prático: manter separados os cenários de treino e os cenários reservados. O conjunto de teste tem de ser independente da geração de dados de treino.

Filtro treinado em comparação com a autorregulação do agente

O PolicyGym compara duas abordagens: a autorregulação do agente tendo em conta a política e um mecanismo de proteção treinado. A configuração final com o mecanismo de proteção reduz em termos relativos a percentagem de ataques bem-sucedidos em 40–44%. Também resulta em menos recusas incorretas de pedidos inofensivos do que a aplicação exclusiva das políticas no prompt.

ConfiguraçãoO que utilizaResultado observado
Apenas políticas no promptTexto das políticasReferência para comparação
Configuração final com mecanismo de proteçãoFiltro treinadoRedução de ataques bem-sucedidos em 40–44%; menos recusas incorretas

Critério prático: comparar o mecanismo de proteção com a referência baseada no prompt. Analisar tanto os ataques bem-sucedidos como as recusas incorretas.

Ciclo iterativo: ataque, ajuste fino, atualização do arquivo

O processo de criação de exemplos permite treinar o mecanismo de proteção de forma iterativa. O atacante gera pedidos recorrendo a estratégias extraídas. O mecanismo de proteção é ajustado com exemplos equilibrados e verificados no ambiente. O treino melhora a eficácia da aplicação das políticas, mesmo com um arquivo fixo.

A atualização do arquivo proporciona um efeito adicional. Reduz a taxa de sucesso dos ataques dentro do domínio em comparação com a manutenção do arquivo sem alterações.

Etapas do ciclo:

  1. Extrair estratégias de ataque.
  2. Gerar pedidos para o atacante.
  3. Verificar os exemplos num ambiente de execução.
  4. Equilibrar os exemplos e ajustar o mecanismo de proteção.
  5. Atualizar o arquivo de ataques.

Critério prático: prever um ciclo de atualização do arquivo e a verificação dos exemplos no ambiente. Um arquivo fixo já proporciona um efeito de treino. A atualização reduz ainda mais a taxa de sucesso dos ataques dentro do domínio.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
PerMIT: integridade da memória de longo prazo de agentes de LLM e confiança coletiva com verificação por máquina
Notícias

PerMIT: integridade da memória de longo prazo de agentes de LLM e confiança coletiva com verificação por máquina

Os autores propõem a arquitetura PerMIT, que limita a entrada de dados não confiáveis do ambiente em ações sensíveis do agente por meio de uma interface de memória finita; dois teoremas, verificados em Lean 4, e o acúmulo de veredictos da comunidade reduzem o risco de envenenamento sem aumentar a carga para cada usuário. Nos experimentos com Trojan Hippo e τ²-bench, o sistema não registrou injeções bem-sucedidas com verificadores leves e melhorou os resultados de novos agentes em tarefas não vistas durante o treinamento.

20 novembro 2026
Sistema composto de IA multiagente com ciclo de evidências para o planejamento de prótons em tumores de cabeça e pescoço
Notícias

Sistema composto de IA multiagente com ciclo de evidências para o planejamento de prótons em tumores de cabeça e pescoço

O trabalho descreve a combinação de uma política PPO treinada, que gera várias opções de plano, e de agentes LLM que conduzem um diálogo de refinamento com verificação de métricas clínicas e restrições; com base em 21 pacientes, a Qwen3-14B ajustada seguiu melhor as instruções e ajudou a deslocar a relação de compromisso a favor dos objetivos prioritários. A conclusão prática é que o planeamento DRL automatizado pode ser complementado por um diálogo orientado, mantendo o controlo sobre restrições concorrentes.

20 novembro 2026
Seleção computacional em vez de tentativa e erro empírica: novas abordagens aos materiais para baterias
Investigação

Seleção computacional em vez de tentativa e erro empírica: novas abordagens aos materiais para baterias

O material mostra como bases de cálculo, aprendizagem automática e modelos generativos reduzem o leque de composições promissoras, enquanto laboratórios automatizados aceleram a sua validação; ainda assim, o resultado depende da síntese e dos ensaios, nos quais as previsões podem divergir da condutividade real.

20 novembro 2026
Verificação de políticas de agentes sem depender de prompts: ambientes executáveis, conjuntos de testes e um filtro treinável