Оценка ИИ-агентов без доступа к их внутренним механизмам
В статье описан метод проверки автономных систем по семи категориям угроз: генератор SAGE-RT создаёт для каждой из них по 120 сценариев атак. Испытания CrewAI и AutoGen показали высокие показатели уязвимости поведения агентов, а также риски для управления и приватности, особенно в мультиагентных конфигурациях.

Что означает black-box-оценка
Black-box-подход оценивает наблюдаемое поведение агентной системы. Для проверки нужны только базовые описания системы, привилегированный доступ не требуется.
Такой подход связывает наблюдаемое поведение с категориями риска. Он позволяет проводить оценку без доступа к внутренним механизмам.
Практический критерий: выбирайте black-box-проверку, если привилегированный доступ недоступен, но можно предоставить базовое описание системы.
Из чего состоит проверка
Фреймворк объединяет таксономию рисков и автоматизированный red teaming. Авторы выделяют семь доменов, связывающих поведение агентов с категориями риска.

SAGE-RT создаёт 120 adversarial scenarios для каждого домена. Оценка также включает человеческую валидацию и LLM judges.
- Таксономия: семь доменов риска.
- Сценарии: автоматизированный red teaming для каждого домена.
- Проверка результатов: человеческая валидация и LLM judges.
Критерий выбора: метод соответствует задаче, если нужна автоматизированная генерация сценариев с последующей проверкой людьми и LLM judges.
Что показала проверка
Авторы проверили две архитектуры агентов — CrewAI и AutoGen — и четыре базовые модели.
| Показатель | Результат |
|---|---|
| Средний governance risk | 56,25% |
| Privacy risk в multi-agent-конфигурациях | 65% |
| Уязвимости поведения агентов | до 85% |
Эти значения описывают разные показатели. Их не следует сводить к одной общей оценке риска.
Практический критерий: при сравнении результатов важно сохранять исходные категории показателей и контекст конфигурации.
Почему одношаговой оценки недостаточно
Авторы отмечают, что стандартные оценки остаются одношаговыми. Они не выявляют уязвимости, которые возникают при последовательности действий.
Риски связаны с тем, как агенты работают:
- читают недоверенные входные данные;
- вызывают инструменты с реальными разрешениями;
- действуют автономно.
Сочетание этих факторов расширяет поверхность безопасности. Критерий оценки — проверять не только отдельный ответ, но и поведение агента в нескольких шагах.
Когда выбирать black-box-подход
Этот подход подходит для оценки рисков, если внутренний доступ к агенту недоступен. Достаточно предоставить базовое описание системы.
Он также полезен, когда проверка должна связывать наблюдаемое поведение с категориями риска. Для поиска многошаговых уязвимостей одношаговой оценки недостаточно.
Практический критерий: выбирайте подход, если задача требует проверить поведение без привилегированного доступа и учитывать риски, возникающие в нескольких шагах.
Часто задаваемые вопросы
Похожие материалы
Все материалы
AURA-Eval: как проверить, что LLM-агент распознал риск и изменил следующий шаг
Фреймворк оценивает поведение LLM-агентов не по финальному вердикту, а по реакции на риск в ключевых точках: траектории вызовов инструментов прерываются, после чего модель должна продолжить рассуждение и действие, а панель LLM-судей разбирает обнаружение риска, характер и безопасность шага. На 1249 заданиях, собранных из 157 траекторий R-Judge, у 20 моделей небезопасные действия учащаются при отсутствии безопасного пути, а снятие надзора до выполнения переводит 52,3% изначально безопасных случаев в небезопасные.
10 ноября 2026
Память резервуара Черна — Саймонса: самостоятельная динамика связности и перенос плотности
В статье разбирается, как резервуар сохраняет историю входных сигналов одновременно в распределении плотности и геометрических степенях свободы. Сравнение четырёх механизмов показывает, что ток создаёт отдельную компоненту связности, меняющую последующий отклик плотности, а учёт всех измеренных признаков даёт небольшой прирост в декодировании порядка импульсов.
10 ноября 2026
STAR: адаптивная нормализация временного контекста и графа сервисов для сквозного инцидент-менеджмента
Фреймворк STAR учит представления по метрикам, журналам и трассировкам, применяя обучаемую нормализацию с учётом многомасштабной временной динамики и структуры зависимостей между сервисами. На двух реальных наборах данных такой контур обеспечивает устойчивый рост качества выявления аномалий, сортировки отказов и поиска корневых причин относительно современных базовых методов.
10 ноября 2026