Модель мира для агентов на закрытых LLM: коррекция в точках риска

Проблема: агенту не хватает знаний о среде

Передовые агенты на LLM типа «чёрный ящик» хорошо справляются с рассуждениями на длинном горизонте и точной генерацией действий. Для конкретной агентной задачи у них нет усвоенных знаний о том, как развивается среда. Статья arXiv:2610.29139 с датой подачи 21 октября 2026 года описывает этот разрыв.

Модель мира дает агенту знания о конкретной среде. Она предсказывает реакцию среды на действие, которое агент собирается выполнить. Такая модель добавляет сведения о задаче.

Практический критерий: проверять связь модели мира с целевой средой. Общие знания о рассуждениях не закрывают разрыв в понимании конкретной задачи.

Режим коррекции: не каждый шаг, а точка риска

Предыдущие модели мира для LLM-агентов преимущественно предсказывают следующее наблюдение на каждом шаге. Такой режим затратен и малоинформативен. Отдельные наблюдения дают ограниченное руководство, связанное с задачей. Предвидение требуется не на каждом шаге.

Пилотное исследование показало: руководство модели мира наиболее полезно, когда она предвидит ловушки в ограниченном многошаговом будущем. Значит, коррекция должна включаться в точках риска, а не работать непрерывно.

Практический критерий: выбирать режим, который включается при потенциальной ловушке и не тратит предвидение на каждый шаг.

Как работает предвидение ловушек

Авторы представили Pitfall Anticipation World Model (PAWM). Модель работает через три элемента:

• выборочно вмешивается при возникновении потенциальной ловушки;
• предсказывает надвигающуюся неудачу;
• уводит агента от ловушки в точке риска.

Практический критерий: триггер коррекции должен опираться на потенциальную ловушку и прогноз надвигающейся неудачи.

Двухэтапное обучение модели

Авторы обучают Pitfall Anticipation World Model (PAWM) в два этапа.

1. Supervised Fine-Tuning (SFT) на синтетических данных. Синтетические данные содержат разметку ловушек для агентов.
2. GRPO co-training с LLM типа «чёрный ящик». Он оптимизирует модель в целевой среде.

Практический критерий: проверять оба этапа — разметку ловушек и co-training в целевой среде.

Оценка: где смотреть прирост

Метод улучшает результаты Claude Sonnet 4.5 на 24.3% в ScienceWorld и на 7.7% в WebArena-Lite.

Авторы также указывают, что модель превосходит ряд базовых методов. Практический критерий: смотреть на прирост в целевой среде и на сравнение с базовыми методами. Перенос результата между средами требует отдельной проверки.