COPEX помогает отделить уязвимость модели от слабых мест инфраструктуры MCP

12 ноября 20266 просмотров

Контролируемый бенчмарк фиксирует агентную обвязку и оценивает только выбор инструментов языковой моделью в 125 сценариях атак через четыре канала MCP. В 3 375 испытаниях на девяти моделях средняя доля успешных атак составила 64,4%, а совместная проверка входных данных и контекста снизила её почти вдвое.

COPEX помогает отделить уязвимость модели от слабых мест инфраструктуры MCP

Существующие бенчмарки часто оценивают развёрнутых агентов. Они смешивают восприимчивость модели с защитными механизмами, оркестрацией и общей способностью выполнять задачи. Из-за этого трудно понять, где слабое место: в модели или в стеке.

COPEX изолирует модель как MCP-клиента. Окружающий агентный стек фиксируется, а меняется только модель, выбирающая инструменты. Такой стенд отделяет выбор инструментов от работы остальной инфраструктуры.

Практический критерий: фиксированный стек при оценке восприимчивости модели. COPEX не заменяет оценку развёрнутого агента.

Как устроен бенчмарк

COPEX охватывает 25 типов атак, представленных в 125 сценариях. Атаки распределены по четырём поверхностям входа: model/agent, client, server/tool и transport. Такое покрытие позволяет проверять разные слои MCP-системы.

Бенчмарк фиксирует окружающий агентный стек. Меняется только модель, которая выбирает инструменты. Поэтому результат испытания отражает поведение модели в заданном окружении.

Практический критерий: покрытие поверхностей входа в сценариях.

Что показывают испытания

В 3,375 испытаниях на девяти моделях средний показатель успешности атак составил 64.4%. Средние значения по поверхностям варьировались от 58.3% до 71.4%.

Некоторые атаки на уровне client и transport частично успешны вне области наблюдения или контроля модели. Это позволяет отделять подверженность системы атакам от восприимчивости модели.

Практический критерий: учёт поверхности атаки при чтении процента успеха. Часть успеха может быть слабостью инфраструктуры, а не модели.

Защита на уровне входа

Совместное сканирование входных данных и контекста снизило успешность атак на 49.6%. Замер выполнен относительно режима без защиты на подмножестве из восьми атак.

Защита на входе действует как отдельный слой. Она меняет результат атак, но не отменяет оценку модели и инфраструктуры.

Практический критерий: замер эффекта защиты на том же подмножестве атак.

Как применять при выборе модели

COPEX даёт сравнение моделей при фиксированном стеке. Такой тест показывает, как модель выбирает инструменты, а не как весь агент выполняет задачу.

Для выбора модели полезны четыре критерия:

  • фиксация стека при сравнении;
  • покрытие поверхностей входа;
  • отдельный учёт атак вне контроля модели;
  • проверка защиты сканированием входа и контекста.
КритерийОценка развёрнутого агентаИзолированная оценка модели
Что оцениваетсяВосприимчивость модели вместе с защитой, оркестрацией и способностью выполнять задачиВыбор инструментов моделью при фиксированном стеке
Что меняетсяВесь агентный стекТолько модель
Как читать результатЭффект модели и инфраструктуры смешанИнфраструктура зафиксирована, виден вклад модели
Для чего подходитПриёмка системы целикомСравнение моделей и поиск слабых мест инфраструктуры

Практический критерий: изолированный тест для сравнения моделей, тест развёрнутого агента для приёмки системы.

Статус публикации

Статья arXiv:2610.04378: версия v1 подана 3 Oct 2026. Последняя редакция v2 — 17 Oct 2026.

Работа принята как постер на NeurIPS 2026 Workshop on Agents in the Wild.

Практический критерий: версия и дата в ссылке на цифры.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Вероятностная коррекция волновых прогнозов: BridgeCast связывает физические модели с реанализом через потоковое сопоставление
Исследования

Вероятностная коррекция волновых прогнозов: BridgeCast связывает физические модели с реанализом через потоковое сопоставление

Представлен гибридный метод, который с помощью условного потокового сопоставления, трансформерной архитектуры и экзогенных атмосферных признаков преобразует выходы физических моделей волнения в поля, близкие к реанализу. Авторы сообщают о стабильном преимуществе над прежними передовыми базовыми решениями при различных сроках заблаговременности и в разных регионах.

12 ноября 2026
RLTLDR: агент сам формулирует вывод из неудачи и учитывает его в следующей попытке
Новости

RLTLDR: агент сам формулирует вывод из неудачи и учитывает его в следующей попытке

После провала агенту показывают сигнал верификатора и просят сжать его в одну подсказку; обучение идёт на связках «задача — подсказка», без учителя и эталонных решений. На сложных наборах для программирования и вызова инструментов метод поднимает Pass@1 с 0–1% у GRPO до 12–31%, причём решающий вклад даёт именно усвоение такой связки.

12 ноября 2026
OpenCollab: программируемая координация агентов, контролируемая среда исполнения и метрика соблюдения регламента
Новости

OpenCollab: программируемая координация агентов, контролируемая среда исполнения и метрика соблюдения регламента

Фреймворк сводит воедино задание структуры взаимодействия агентов, общее окружение для экспериментов и подробную трассировку событий, а вводимый показатель Adherence отражает, насколько реальное выполнение соответствует заявленной схеме. В бенчмарках конфигурация Duo выходит на новый уровень SOTA, тогда как одноагентный вариант отличается наименьшим расходом токенов.

11 ноября 2026
COPEX: бенчмарк уязвимости моделей при работе с MCP