Недостоверные сообщения от предыдущего агента и подмена верного ответа в многоагентных LLM: управляемый эксперимент
В экспериментах на пяти наборах задач и с пятью агентами-получателями недостоверная реплика вышестоящего участника меняла корректный вывод нижестоящего вплоть до 32% эпизодов; в 94% таких случаев наблюдалась подмена на конкретный ошибочный ответ. Из результатов следует, что при передаче сообщений необходимо оценивать надёжность источника и уже доступные получателю свидетельства.
Дизайн эксперимента
Исследование подано на arXiv 29 сентября 2026 года. Название: “When Upstream Messages Override Correct Answers: A Controlled Study of Multi-Agent LLM Collaboration”. Авторы: Yaxin Gong, Gangyi Zhang, Chongming Gao, Leyang Shen, Chenxiao Fan, Jiakai Wang, Dong Wang, Yang Liu, Wenjie Wang, Xiangnan He.
Работа проверяет, как сообщения вышестоящего агента влияют на ответы нижестоящего агента. Контролируемые эксперименты прошли на пяти бенчмарках и с пятью получателями. Ключевые параметры:
- пять бенчмарков;
- пять получателей;
- неизменная задача;
- неизменные свидетельства, доступные нижестоящему агенту.
Практический критерий: оценивать сообщение отдельно от задачи и свидетельств.
Три условия
Сравнивались три условия. Задача и свидетельства во всех условиях одинаковы. Различается только сообщение.
| Условие | Что получает нижестоящий агент |
|---|---|
| Без сообщения | Задачу и доступные свидетельства |
| С исходным сообщением | Сообщение вышестоящего агента |
| С противоположным выводом | Сообщение с выводом, противоположным исходному |
Такой дизайн отделяет эффект сообщения от эффекта задачи. Критерий: рассматривать сообщение как отдельный фактор, который можно включать и отключать.
Положительный эффект сообщений
Сообщения часто помогают, когда без них нижестоящий агент ответил бы неправильно. В этом случае сообщение вышестоящего агента поддерживает верный ответ.
Практический критерий: передавать сообщение, когда нижестоящему агенту не хватает свидетельств для верного ответа.
Подмена верного ответа
Если без сообщения нижестоящий агент ответил бы правильно, неправильное сообщение вышестоящего агента меняло ответ вплоть до 32% случаев. Ключевые данные:
- до 32% случаев при верном ответе без сообщения;
- в 94% проверенных случаев вредного влияния нижестоящий агент копировал конкретный неправильный ответ вышестоящего агента;
- авторы называют это явление “answer substitution”.
Критерий: проверять, не заменяет ли сообщение верный вывод на конкретный неверный.
Удаление ненадёжных сообщений
Удаление ненадёжных сообщений восстанавливало часть потерянной точности. Мера снижает вред, но не возвращает исходный уровень.
Практический критерий: фильтровать сообщения до передачи, а не после ответа.
Критерии выбора сообщений
Авторы указывают: выбор сообщений для передачи должен учитывать надёжность вышестоящего агента и свидетельства, уже доступные нижестоящему агенту. Значит, надёжность вышестоящего агента — не единственный фактор. Нужно сопоставлять сообщение с тем, что нижестоящий агент может проверить сам.
- Надёжность вышестоящего агента.
- Свидетельства, уже доступные нижестоящему агенту.
- Согласованность сообщения с этими свидетельствами.
Критерий: приоритет у сообщений, которые согласуются с уже доступными свидетельствами.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Британский инспектор по иммиграции решает, проверять ли GPT-4 в Home Office
Независимый надзорный орган по границам и иммиграции запросил у правозащитной организации сведения о двух системах на базе OpenAI, которые Home Office применяет при работе с материалами просителей убежища. Статья объясняет, почему сомнения в точности сводок, отсутствие публичного реестра и скрытость применения могут привести к официальной проверке и юридическим претензиям.
3 ноября 2026
Переход к вероятностному симплексу сокращает модальный разрыв в контрастивных мультимодальных моделях
В работе arXiv:2610.32890 предлагается заменить сферические эмбеддинги вероятностным симплексом, добавив лёгкие softmax-адаптеры и сходство Total Variation. На пяти бенчмарках поиска центроидное ℓ2-расстояние между модальностями снижается на 97–99% при сохранении или росте качества поиска.
3 ноября 2026
Как ActionRAG пересматривает свидетельства при диффузии по графу памяти LLM-агентов
Предложена архитектура графовой памяти, которая на этапе индексации аккуратно согласует сущности, а при запросе заново оценивает связи с опорой на локальную структуру. На MemoryAgentBench метод показал среднюю точность 55,1 и прирост 5,4 п.п. к сильнейшему извлекающему baseline при стоимости синтеза ниже $0,001 за запрос.
3 ноября 2026