Коллективная хрупкость финансовых систем из LLM-агентов: почему координация рушится и когда обязательства успевают её удержать
В контролируемой среде FRAIL агенты на базе семи ведущих LLM действовали в сценариях набега на банк, пролонгации долга и краудфандинга с вознаграждением: от 77% до 83% базовых эпизодов заканчивались провалом, хотя задачу дестабилизировать систему перед ними не ставили. Проверенные надстройки — компенсируемые обещания, централизованные соглашения и коалиции участников — улучшали совокупный результат, однако универсального механизма не нашлось; устойчивость возникала там, где широкая приверженность обязательствам складывалась раньше, чем защитное поведение начинало самоусиливаться.
Коллективная хрупкость как системный эффект
FRAIL — контролируемый экспериментальный фреймворк. В нем агенты на основе LLM действуют в динамических финансовых средах. Ключевые наблюдения:
- решения агентов меняют финансовые условия для других;
- эксперименты охватили семь ведущих LLM;
- хрупкость возникает даже тогда, когда ни одному агенту не поручали дестабилизировать систему.
Исследование выявило широко распространенную коллективную хрупкость. Вывод: хрупкость проявляется на уровне взаимодействия, а не только в отдельных агентах.
Три среды и baseline-результаты
Фреймворк охватывает три динамические среды:
- bank runs — набеги на банки;
- debt rollover — пролонгация долга;
- reward crowdfunding — краудфандинг с вознаграждением.
В базовом сценарии bank-run 77% эпизодов завершились неудачей. В базовом сценарии debt-rollover неудачей завершились 83% эпизодов. В каждой среде решения агентов меняют условия для остальных участников. Критерий: коллективную хрупкость проверяют в среде с взаимозависимыми решениями. Изолированный тест агента не покажет системный риск.
Механизмы обязательств: сравнение
Сравнивались три механизма взаимодействия. Все три улучшали совокупные результаты. Ни один не был лучшим для всех финансовых структур.
| Механизм | Совокупные результаты | Лучший для всех финансовых структур |
|---|---|---|
| Компенсированные обязательства (compensated commitments) | улучшались | нет |
| Централизованные соглашения об обязательствах (centralized commitment agreements) | улучшались | нет |
| Коалиции участников (participant-led coalitions) | улучшались | нет |
Универсального механизма среди них нет. Выбор зависит от конкретной финансовой структуры. Практический критерий: подбирать механизм под структуру среды, а не копировать один шаблон.
Когда обязательства успевают удержать систему
Для успешной стабилизации характерен общий временной рисунок. Широкая приверженность обязательствам формировалась рано. Она возникала до того, как защитное поведение начинало усиливать само себя.
Если этот момент упущен, обязательства не удерживают систему. Раннее формирование широкой приверженности опережает самоусиление защитного поведения. Критерий: запускать обязательства до того, как защитное поведение начнет воспроизводить себя.
Системная безопасность финансового ИИ
Индивидуально способные агенты не образуют автоматически безопасные финансовые системы. Этот факт следует из экспериментов FRAIL. Центральные задачи безопасности финансового ИИ:
- оценка на уровне системы;
- проектирование взаимодействия.
Практический критерий: проверять взаимодействие агентов и систему целиком. Отдельные сильные модели не заменяют системный контроль.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Проверка coding-агентов в интерактивной XR-разработке: итоги GenXR-Bench
Опубликован GenXR-Bench — набор из 112 экспертных заданий для сквозной оценки coding-агентов в интерактивной XR-разработке: от доработки функций и исправления дефектов до создания приложений с проверкой поведения на потребительском оборудовании. У десяти протестированных моделей лучший результат составил 50,9% Pass@1; среди повторяющихся сбоев — обработка асинхронных событий датчиков, привязка объектов к реальному пространству и понимание взаимодействия в физическом контексте.
5 ноября 2026
Гибридная разметка изображений: автоматизация ускоряет обучение моделей компьютерного зрения
Статья описывает, как предварительная разметка алгоритмами сокращает ручную работу и повышает чистоту обучающих наборов, а также почему выборочная верификация человеком остаётся необходимой. Рассмотрены ограничения метода в трудных условиях съёмки и на редко встречающихся типах объектов.
5 ноября 2026
От скалярной награды к фронту Парето: LLM-синтез RTL с многокритериальным подкреплением
Предложен способ обучать языковую модель генерировать не одну схему, а набор RTL-кандидатов с разными компромиссами между площадью, задержкой и энергопотреблением; награда строится по вкладу варианта в гиперобъём фронта Парето. На RTLLM v2 относительный гиперобъём вырос на 13,3 п.п. относительно базовой версии без оптимизации PPA и на 14,4 п.п. относительно одноцелевого обучения с подкреплением.
5 ноября 2026