COPEX помогает отделить уязвимость модели от слабых мест инфраструктуры MCP
Контролируемый бенчмарк фиксирует агентную обвязку и оценивает только выбор инструментов языковой моделью в 125 сценариях атак через четыре канала MCP. В 3 375 испытаниях на девяти моделях средняя доля успешных атак составила 64,4%, а совместная проверка входных данных и контекста снизила её почти вдвое.

Существующие бенчмарки часто оценивают развёрнутых агентов. Они смешивают восприимчивость модели с защитными механизмами, оркестрацией и общей способностью выполнять задачи. Из-за этого трудно понять, где слабое место: в модели или в стеке.
COPEX изолирует модель как MCP-клиента. Окружающий агентный стек фиксируется, а меняется только модель, выбирающая инструменты. Такой стенд отделяет выбор инструментов от работы остальной инфраструктуры.
Практический критерий: фиксированный стек при оценке восприимчивости модели. COPEX не заменяет оценку развёрнутого агента.
Как устроен бенчмарк
COPEX охватывает 25 типов атак, представленных в 125 сценариях. Атаки распределены по четырём поверхностям входа: model/agent, client, server/tool и transport. Такое покрытие позволяет проверять разные слои MCP-системы.
Бенчмарк фиксирует окружающий агентный стек. Меняется только модель, которая выбирает инструменты. Поэтому результат испытания отражает поведение модели в заданном окружении.

Практический критерий: покрытие поверхностей входа в сценариях.
Что показывают испытания
В 3,375 испытаниях на девяти моделях средний показатель успешности атак составил 64.4%. Средние значения по поверхностям варьировались от 58.3% до 71.4%.
Некоторые атаки на уровне client и transport частично успешны вне области наблюдения или контроля модели. Это позволяет отделять подверженность системы атакам от восприимчивости модели.
Практический критерий: учёт поверхности атаки при чтении процента успеха. Часть успеха может быть слабостью инфраструктуры, а не модели.
Защита на уровне входа
Совместное сканирование входных данных и контекста снизило успешность атак на 49.6%. Замер выполнен относительно режима без защиты на подмножестве из восьми атак.
Защита на входе действует как отдельный слой. Она меняет результат атак, но не отменяет оценку модели и инфраструктуры.
Практический критерий: замер эффекта защиты на том же подмножестве атак.
Как применять при выборе модели
COPEX даёт сравнение моделей при фиксированном стеке. Такой тест показывает, как модель выбирает инструменты, а не как весь агент выполняет задачу.
Для выбора модели полезны четыре критерия:
- фиксация стека при сравнении;
- покрытие поверхностей входа;
- отдельный учёт атак вне контроля модели;
- проверка защиты сканированием входа и контекста.
| Критерий | Оценка развёрнутого агента | Изолированная оценка модели |
|---|---|---|
| Что оценивается | Восприимчивость модели вместе с защитой, оркестрацией и способностью выполнять задачи | Выбор инструментов моделью при фиксированном стеке |
| Что меняется | Весь агентный стек | Только модель |
| Как читать результат | Эффект модели и инфраструктуры смешан | Инфраструктура зафиксирована, виден вклад модели |
| Для чего подходит | Приёмка системы целиком | Сравнение моделей и поиск слабых мест инфраструктуры |
Практический критерий: изолированный тест для сравнения моделей, тест развёрнутого агента для приёмки системы.
Статус публикации
Статья arXiv:2610.04378: версия v1 подана 3 Oct 2026. Последняя редакция v2 — 17 Oct 2026.
Работа принята как постер на NeurIPS 2026 Workshop on Agents in the Wild.
Практический критерий: версия и дата в ссылке на цифры.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Вероятностная коррекция волновых прогнозов: BridgeCast связывает физические модели с реанализом через потоковое сопоставление
Представлен гибридный метод, который с помощью условного потокового сопоставления, трансформерной архитектуры и экзогенных атмосферных признаков преобразует выходы физических моделей волнения в поля, близкие к реанализу. Авторы сообщают о стабильном преимуществе над прежними передовыми базовыми решениями при различных сроках заблаговременности и в разных регионах.
12 ноября 2026
RLTLDR: агент сам формулирует вывод из неудачи и учитывает его в следующей попытке
После провала агенту показывают сигнал верификатора и просят сжать его в одну подсказку; обучение идёт на связках «задача — подсказка», без учителя и эталонных решений. На сложных наборах для программирования и вызова инструментов метод поднимает Pass@1 с 0–1% у GRPO до 12–31%, причём решающий вклад даёт именно усвоение такой связки.
12 ноября 2026
OpenCollab: программируемая координация агентов, контролируемая среда исполнения и метрика соблюдения регламента
Фреймворк сводит воедино задание структуры взаимодействия агентов, общее окружение для экспериментов и подробную трассировку событий, а вводимый показатель Adherence отражает, насколько реальное выполнение соответствует заявленной схеме. В бенчмарках конфигурация Duo выходит на новый уровень SOTA, тогда как одноагентный вариант отличается наименьшим расходом токенов.
11 ноября 2026