Современные языковые модели всё чаще действуют не как отдельные приложения, а как автономные агенты, способные общаться друг с другом, вести дискуссии и влиять на коллективные решения. Такие сообщества агентов становятся лакомой целью для злоумышленников: достаточно внедрить в них подконтрольные элементы, чтобы изменить общую динамику. Существующие методы атак — например, манипуляция промптами или создание изолированных эхо-камер — требуют достаточно сложной инфраструктуры и часто не работают в реальных условиях. Но недавнее исследование показывает, что есть более коварный путь: использовать память самих агентов как скрытый канал распространения поляризующих идей.
Память как канал атаки
Исследователи из Университета Цинхуа (Haoran Bu, Zejian Chen, Litian Zhang, Xi Zhang) предложили новую угрозу, названную «опосредованный памятью каскад поляризации» (Memory-Mediated Polarization Cascade). Суть в том, чтобы сначала незаметно внедрить в память небольшой группы целевых агентов аргументы, поддерживающие их уже существующую позицию, а затем дождаться, когда общая дискуссия заставит их эти аргументы вспомнить и публично высказать. Память здесь играет роль устойчивого хранилища: информация может быть извлечена спустя время. Публичное обсуждение, наоборот, служит проводником, который разносит однажды произнесённые мысли дальше по сообществу. Такой подход нацелен на сообщество в целом, поскольку задача — не изменить одного агента, а спровоцировать противостояние между группами. В рамках работы была создана атака GraphWake, которая использует этот принцип.
Три стадии каскада
Атака GraphWake развивается по трём чётко выделенным этапам. Каждый из них — необходимое звено для того, чтобы цепочка поляризации прошла от единичного агента до масштаба всего сообщества.
Стадия 1. Экспозиция и удержание
Злоумышленник выбирает небольшое множество агентов-целей и показывает им аргументы, которые не противоречат их текущей позиции, а наоборот, подкрепляют и усиливают её. Агентская память обрабатывает эти аргументы и сохраняет их как часть своей истории. Внешне ничего не происходит: агенты продолжают вести обычные разговоры, но в их долговременной памяти уже заложены «мины» — тезисы, которые позже сработают.
Стадия 2. Извлечение и воспроизведение
Когда в сообществе начинается общее обсуждение по теме, нейтральной с точки зрения позиций, это становится триггером. Целевые агенты извлекают из памяти ранее удержанные аргументы и начинают их воспроизводить как свои собственные. Важно, что обсуждение само по себе ничего не навязывает — оно лишь служит спусковым крючком для активации сохранённой информации.
Стадия 3. Итеративное распространение
Остальные агенты, которые не были целями атаки, слышат эти воспроизведённые аргументы и, поскольку они выглядят убедительными, начинают их пересказывать дальше. Так образуется каскад: первоначально небольшая группа «носителей» заражает всё сообщество, и поляризация усиливается с каждым циклом воспроизведения. В результате сообщество раскалывается на враждующие фракции, каждая из которых укрепляется в собственной правоте.
Компоненты GraphWake
Для реализации описанного каскада авторы разработали набор инструментов, который получил имя GraphWake. В его основе лежат три ключевых компонента, отвечающих за разные аспекты атаки.
Графы знаний аргументации
Первый компонент — это специальные графы знаний, которые отражают связь между аргументами и поддерживаемыми ими позициями. Они позволяют механизму атаки конструировать правдоподобные утверждения на основе уже имеющихся у агента убеждений. Благодаря этому аргументы выглядят естественно и не вызывают подозрений.
Аксиомно-ориентированный отбор троек
Второй компонент отвечает за отбор и «дистилляцию» аргументов. Из множества потенциальных тезисов выбираются только те, которые гарантированно удержатся в памяти агента и затем будут точно воспроизведены. Это своего рода фильтр, который оставляет лишь наиболее эффективные с точки зрения запоминания и последующего извлечения утверждения.
Нейтральное подсказывание из памяти
Третий компонент — это механизм, который в нужный момент запускает извлечение сохранённых аргументов. Он использует нейтральные по позиции сигналы из общего обсуждения, чтобы «разбудить» память целевых агентов и подтолкнуть их к публичному воспроизведению. Важно, что эти сигналы не содержат самих спорных тезисов, поэтому атака остаётся скрытной.
Эксперименты и выводы
Авторы проверили GraphWake на нескольких сценариях обсуждений и с разными реализациями систем памяти. Результаты однозначны: предложенный метод существенно усиливает групповую поляризацию по сравнению с исходным состоянием сообщества. Даже при небольшом числе целевых агентов эффект распространяется на всю группу, что подтверждает каскадный характер атаки.
Главный вывод работы — не столько демонстрация уязвимости, сколько предупреждение: поляризация может возникать не из-за явной манипуляции контентом, а через незаметное воздействие на память агентов. Это значит, что для защиты агентных сообществ нужно обращать внимание не только на то, какие промпты подаются, но и на то, как устроена долговременная память и какие скрытые убеждения в ней накапливаются. Разработчикам платформ стоит задуматься о механизмах контроля над тем, что агенты «запоминают», и о способах выявления искусственно внедрённых аргументов.
