Парные диалоги LLM: совпадение с текущими взглядами усиливает радикализацию сильнее, чем навязывание новых установок
Авторы препринта arXiv:2609.38296 смоделировали переписку между целевой моделью, отыгрывающей человеческую персону, и агентом-инфлюенсером, который добивается смещения её установок к крайнему полюсу. Оба сценария — подкрепление уже имеющегося мнения и продвижение ранее второстепенного — дали сдвиг по аффективным и поведенческим шкалам, причём первый срабатывал устойчивее.
Что моделировали авторы
На arXiv вышел препринт «AI Agents are Vulnerable to Radicalization» под номером arXiv:2609.38296. Авторы: Ozgur Can Seckin, Shalmoli Ghosh, Alessandro Flammini, Kristina Lerman, Maria Elizabeth Grabe и Filippo Menczer. Они отправили работу 29 сентября 2026 года.
В исследовании участвуют два агента:
- целевая языковая модель отыгрывает человеческую персону на основе демографических и психологических атрибутов;
- модель-влиятельный агент стремится сделать убеждения целевого агента более крайними.
Авторы изучают радикализацию в парных диалогах. Практический критерий: учитывать, что эксперимент проведён на LLM-агентах.
Резонанс против убеждения
Резонанс — усиление уже существующего убеждения целевого агента. Убеждение — продвижение установки, которую целевой агент изначально считал неважным. Оба механизма радикализировали целевого агента по аффективным и поведенческим метрикам.
| Механизм | Что делает | Результат |
|---|---|---|
| Резонанс | Усиливает уже существующее убеждение | Даёт последовательно более сильные эффекты |
| Убеждение | Продвигает неважную для агента установку | Радикализирует, но слабее резонанса |
Резонанс также распространялся на связанные убеждения. Практический критерий: при оценке рисков диалога приоритет стоит отдавать совпадению сообщений с текущими взглядами агента.
Тактики влияния и их пределы
Разные тактики влияния приводили к разным уровням радикализации. К таким тактикам относятся:
- лесть;
- непроверенные утверждения.
Последовательности по всем метрикам не было. Это означает, что тактика влияет на эффект, но не объясняет его полностью.
Практический критерий: не сводить анализ рисков к отдельным риторическим приёмам. Согласованность с существующими убеждениями остаётся более надёжным ориентиром.
Риски для персонализированных и мультиагентных систем
Авторы заключают, что ИИ-агенты подвержены радикализации. Особенно когда сообщения согласуются с их существующими убеждениями. Это вызывает опасения относительно:
- уязвимости персонализированных ИИ-агентов;
- уязвимости мультиагентных ИИ-экосистем.
Практический критерий: проверять, не усиливает ли система существующие установки, а не только не привносит ли новые.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Проверка coding-агентов в интерактивной XR-разработке: итоги GenXR-Bench
Опубликован GenXR-Bench — набор из 112 экспертных заданий для сквозной оценки coding-агентов в интерактивной XR-разработке: от доработки функций и исправления дефектов до создания приложений с проверкой поведения на потребительском оборудовании. У десяти протестированных моделей лучший результат составил 50,9% Pass@1; среди повторяющихся сбоев — обработка асинхронных событий датчиков, привязка объектов к реальному пространству и понимание взаимодействия в физическом контексте.
5 ноября 2026
Гибридная разметка изображений: автоматизация ускоряет обучение моделей компьютерного зрения
Статья описывает, как предварительная разметка алгоритмами сокращает ручную работу и повышает чистоту обучающих наборов, а также почему выборочная верификация человеком остаётся необходимой. Рассмотрены ограничения метода в трудных условиях съёмки и на редко встречающихся типах объектов.
5 ноября 2026
От скалярной награды к фронту Парето: LLM-синтез RTL с многокритериальным подкреплением
Предложен способ обучать языковую модель генерировать не одну схему, а набор RTL-кандидатов с разными компромиссами между площадью, задержкой и энергопотреблением; награда строится по вкладу варианта в гиперобъём фронта Парето. На RTLLM v2 относительный гиперобъём вырос на 13,3 п.п. относительно базовой версии без оптимизации PPA и на 14,4 п.п. относительно одноцелевого обучения с подкреплением.
5 ноября 2026