COPEX ayuda a distinguir las vulnerabilidades del modelo de los puntos débiles de la infraestructura MCP

12 noviembre 20266 vistas

El benchmark controlado fija la infraestructura del agente y evalúa únicamente la selección de herramientas por parte del modelo de lenguaje en 125 escenarios de ataque a través de cuatro canales MCP. En 3 375 pruebas con nueve modelos, la tasa media de ataques exitosos fue del 64,4 %, y la validación conjunta de las entradas y el contexto la redujo casi a la mitad.

COPEX ayuda a distinguir las vulnerabilidades del modelo de los puntos débiles de la infraestructura MCP

Los benchmarks existentes suelen evaluar agentes desplegados. Mezclan la susceptibilidad del modelo con los mecanismos de protección, la orquestación y la capacidad general para realizar tareas. Por eso, es difícil saber dónde está el punto débil: en el modelo o en el stack.

COPEX aísla el modelo como cliente MCP. El stack del agente que lo rodea se mantiene fijo y solo cambia el modelo que elige las herramientas. Este banco de pruebas separa la elección de herramientas del funcionamiento del resto de la infraestructura.

Criterio práctico: stack fijo al evaluar la susceptibilidad del modelo. COPEX no sustituye la evaluación de un agente desplegado.

Cómo funciona el benchmark

COPEX abarca 25 tipos de ataques, representados en 125 escenarios. Los ataques se distribuyen en cuatro superficies de entrada: modelo/agente, cliente, servidor/herramienta y transporte. Esta cobertura permite probar distintas capas de un sistema MCP.

El benchmark mantiene fijo el stack del agente que lo rodea. Solo cambia el modelo que elige las herramientas. Por eso, el resultado de la prueba refleja el comportamiento del modelo en un entorno determinado.

Criterio práctico: cobertura de las superficies de entrada en los escenarios.

Qué muestran las pruebas

En 3.375 pruebas realizadas con nueve modelos, la tasa media de éxito de los ataques fue del 64,4 %. Los promedios por superficie oscilaron entre el 58,3 % y el 71,4 %.

Algunos ataques a nivel de cliente y transporte tienen éxito parcial fuera del ámbito de observación o control del modelo. Esto permite distinguir entre la exposición del sistema a los ataques y la susceptibilidad del modelo.

Criterio práctico: tener en cuenta la superficie de ataque al interpretar la tasa de éxito. Parte de los ataques exitosos puede deberse a una debilidad de la infraestructura, no del modelo.

Protección en la capa de entrada

El análisis conjunto de las entradas y el contexto redujo la tasa de éxito de los ataques en un 49,6 %. La medición se realizó respecto a la modalidad sin protección, sobre un subconjunto de ocho ataques.

La protección de entrada actúa como una capa independiente. Cambia el resultado de los ataques, pero no sustituye la evaluación del modelo y la infraestructura.

Criterio práctico: medir el efecto de la protección sobre el mismo subconjunto de ataques.

Cómo aplicarlo al elegir un modelo

COPEX permite comparar modelos con un stack fijo. Esta prueba muestra cómo el modelo elige las herramientas, no cómo todo el agente realiza una tarea.

Hay cuatro criterios útiles para elegir un modelo:

  • mantener fijo el stack durante la comparación;
  • cubrir las superficies de entrada;
  • contabilizar por separado los ataques que escapan al control del modelo;
  • probar la protección mediante el análisis de las entradas y el contexto.
CriterioEvaluación de un agente desplegadoEvaluación aislada del modelo
Qué se evalúaLa susceptibilidad del modelo junto con la protección, la orquestación y la capacidad para realizar tareasLa elección de herramientas por parte del modelo con un stack fijo
Qué cambiaTodo el stack del agenteSolo el modelo
Cómo interpretar el resultadoSe mezclan los efectos del modelo y de la infraestructuraLa infraestructura se mantiene fija y se ve la contribución del modelo
Para qué sirveAceptación del sistema completoComparación de modelos y detección de puntos débiles en la infraestructura

Criterio práctico: prueba aislada para comparar modelos; prueba de un agente desplegado para aceptar el sistema.

Estado de publicación

Artículo de arXiv:2610.04378: la versión v1 se presentó el 3 de octubre de 2026. La última revisión, v2, es del 17 de octubre de 2026.

El trabajo fue aceptado como póster en NeurIPS 2026 Workshop on Agents in the Wild.

Criterio práctico: indicar la versión y la fecha en la referencia de las cifras.

Preguntas frecuentes

Material similar

Todos los materiales
Corrección probabilística de pronósticos de oleaje: BridgeCast conecta modelos físicos con el reanálisis mediante emparejamiento en streaming
Investigación

Corrección probabilística de pronósticos de oleaje: BridgeCast conecta modelos físicos con el reanálisis mediante emparejamiento en streaming

Se presenta un método híbrido que, mediante emparejamiento de flujos condicionales, una arquitectura de transformadores y características atmosféricas exógenas, transforma las salidas de los modelos físicos de oleaje en campos similares a los de reanálisis. Los autores informan de una ventaja constante frente a las soluciones de referencia más avanzadas anteriores en distintos plazos de antelación y regiones.

12 noviembre 2026
RLTLDR: el agente saca sus propias conclusiones del fracaso y las tiene en cuenta en el siguiente intento
Noticias

RLTLDR: el agente saca sus propias conclusiones del fracaso y las tiene en cuenta en el siguiente intento

Tras un fallo, se muestra al agente la señal del verificador y se le pide condensarla en una sola pista; el entrenamiento se realiza con pares «tarea-pista», sin profesor ni soluciones de referencia. En conjuntos de datos complejos de programación y uso de herramientas, el método eleva Pass@1 del 0–1 % de GRPO al 12–31 %, y la mejora decisiva se debe precisamente a aprender este tipo de asociación.

12 noviembre 2026
OpenCollab: coordinación programable de agentes, entorno de ejecución controlado y métrica de cumplimiento de las normas
Noticias

OpenCollab: coordinación programable de agentes, entorno de ejecución controlado y métrica de cumplimiento de las normas

El framework integra la definición de la estructura de interacción entre agentes, un entorno común para los experimentos y un seguimiento detallado de los eventos, mientras que la métrica Adherence, introducida en este trabajo, refleja hasta qué punto la ejecución real se ajusta al esquema declarado. En los benchmarks, la configuración Duo alcanza un nuevo nivel de SOTA, mientras que la variante de un solo agente destaca por consumir la menor cantidad de tokens.

11 noviembre 2026
COPEX ayuda a distinguir las vulnerabilidades del modelo de los puntos débiles de la infraestructura MCP