COPEX ajuda a distinguir as vulnerabilidades do modelo das fragilidades da infraestrutura MCP

12 novembro 20266 visualizações

O benchmark controlado mantém fixa a estrutura do agente e avalia apenas a seleção de ferramentas pela modelo de linguagem em 125 cenários de ataque através de quatro canais MCP. Em 3 375 testes com nove modelos, a taxa média de ataques bem-sucedidos foi de 64,4%, enquanto a verificação conjunta das entradas e do contexto a reduziu quase pela metade.

COPEX ajuda a distinguir as vulnerabilidades do modelo das fragilidades da infraestrutura MCP

Os benchmarks existentes avaliam frequentemente agentes implementados. Misturam a suscetibilidade do modelo com mecanismos de proteção, orquestração e capacidade geral de executar tarefas. Por isso, é difícil perceber onde está o ponto fraco: no modelo ou na stack.

O COPEX isola o modelo como cliente MCP. A stack de agentes envolvente permanece fixa e só muda o modelo que escolhe as ferramentas. Este banco de ensaio permite separar a escolha de ferramentas do funcionamento das restantes infraestruturas.

Critério prático: stack fixa para avaliar a suscetibilidade do modelo. O COPEX não substitui a avaliação de um agente implementado.

Como funciona o benchmark

O COPEX abrange 25 tipos de ataque, representados em 125 cenários. Os ataques estão distribuídos por quatro superfícies de entrada: modelo/agente, cliente, servidor/ferramenta e transporte. Esta cobertura permite testar diferentes camadas de um sistema MCP.

O benchmark mantém fixa a stack de agentes envolvente. Só muda o modelo que escolhe as ferramentas. Assim, o resultado do teste reflete o comportamento do modelo no ambiente definido.

Critério prático: cobertura das superfícies de entrada nos cenários.

O que os testes mostram

Em 3.375 testes realizados com nove modelos, a taxa média de sucesso dos ataques foi de 64,4%. As médias por superfície variaram entre 58,3% e 71,4%.

Alguns ataques ao nível do cliente e do transporte são parcialmente bem-sucedidos fora da área de observação ou controlo do modelo. Isto permite distinguir a exposição do sistema a ataques da suscetibilidade do modelo.

Critério prático: ter em conta a superfície de ataque ao interpretar a taxa de sucesso. Parte dos ataques bem-sucedidos pode revelar uma vulnerabilidade da infraestrutura, e não do modelo.

Proteção ao nível da entrada

A análise conjunta dos dados de entrada e do contexto reduziu a taxa de sucesso dos ataques em 49,6%. A medição foi feita em relação ao modo sem proteção, num subconjunto de oito ataques.

A proteção na entrada funciona como uma camada independente. Altera o resultado dos ataques, mas não substitui a avaliação do modelo e da infraestrutura.

Critério prático: medir o efeito da proteção no mesmo subconjunto de ataques.

Como aplicar na escolha de um modelo

O COPEX permite comparar modelos com uma stack fixa. Este teste mostra como o modelo escolhe ferramentas, e não como todo o agente executa uma tarefa.

Na escolha de um modelo, são úteis quatro critérios:

  • manter a stack fixa durante a comparação;
  • cobrir as superfícies de entrada;
  • contabilizar separadamente os ataques fora do controlo do modelo;
  • testar a proteção através da análise dos dados de entrada e do contexto.
CritérioAvaliação de um agente implementadoAvaliação isolada do modelo
O que é avaliadoA suscetibilidade do modelo, em conjunto com a proteção, a orquestração e a capacidade de executar tarefasA escolha de ferramentas pelo modelo com uma stack fixa
O que mudaToda a stack de agentesApenas o modelo
Como interpretar o resultadoOs efeitos do modelo e da infraestrutura estão misturadosA infraestrutura permanece fixa e é possível identificar a contribuição do modelo
Para que serveAceitação do sistema como um todoComparação de modelos e identificação de pontos fracos na infraestrutura

Critério prático: um teste isolado para comparar modelos e um teste de agente implementado para aceitar o sistema.

Estado da publicação

Artigo no arXiv: 2610.04378: versão v1 submetida em 3 de outubro de 2026. Última revisão, v2 — 17 de outubro de 2026.

O trabalho foi aceite como poster no NeurIPS 2026 Workshop on Agents in the Wild.

Critério prático: indicar a versão e a data junto aos números.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
Correção probabilística de previsões de ondas: BridgeCast conecta modelos físicos à reanálise por meio de correspondência em fluxo contínuo
Investigação

Correção probabilística de previsões de ondas: BridgeCast conecta modelos físicos à reanálise por meio de correspondência em fluxo contínuo

É apresentado um método híbrido que, por meio de correspondência de fluxo condicional, de uma arquitetura Transformer e de características atmosféricas exógenas, transforma as saídas de modelos físicos de ondas em campos próximos dos de reanálise. Os autores relatam uma vantagem consistente em relação às soluções de referência de ponta anteriores, para diferentes prazos de previsão e em várias regiões.

12 novembro 2026
RLTLDR: o agente tira suas próprias conclusões do fracasso e as leva em conta na próxima tentativa
Notícias

RLTLDR: o agente tira suas próprias conclusões do fracasso e as leva em conta na próxima tentativa

Após uma falha, o agente recebe o sinal do verificador e é solicitado a condensá-lo numa única dica; o treinamento é feito com pares «tarefa — dica», sem professor nem soluções de referência. Em conjuntos de dados complexos de programação e uso de ferramentas, o método eleva o Pass@1 de 0–1% com GRPO para 12–31%, sendo que o principal fator é justamente a aprendizagem desse tipo de associação.

12 novembro 2026
OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras
Notícias

OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras

O framework reúne a definição da estrutura de interação entre agentes, um ambiente comum para experimentos e o rastreamento detalhado de eventos, enquanto a métrica Adherence, introduzida agora, reflete o quanto a execução real corresponde ao esquema declarado. Nos benchmarks, a configuração Duo alcança um novo patamar de SOTA, enquanto a variante de agente único se destaca pelo menor consumo de tokens.

11 novembro 2026
COPEX ajuda a distinguir as vulnerabilidades do modelo das fragilidades da infraestrutura MCP