Агент вместо отдельного оптимизатора: единый каркас, развивающийся сразу на нескольких задачах
Авторы демонстрируют, что одна замороженная модель на неизменной версии обвязки сначала решает задачи, а затем сама редактирует собственный код, опираясь на полные журналы запусков. Многозадачная эволюция каркаса из 49 строк дала прирост результатов внутри распределения и на отложенных бенчмарках, а на части из них позволила обойти Codex.
Что такое harness и зачем его оптимизировать
Harness — это код вокруг агента на основе языковой модели. Он организует промпты, вызовы инструментов, управление контекстом и исполнением. От устройства этого кода зависит, как агент решает задачу.
В большинстве существующих методов harness создаёт человек. Отдельный proposer меняет harness решателя. Для каждого бенчмарка эволюционирует отдельный harness. Такой подход привязывает улучшения к одной задаче.
Практический критерий: единый каркас развивается сразу на нескольких задачах, а не под каждый бенчмарк отдельно.
Единый каркас: агент как собственный оптимизатор
Статья Qiankai Xu подана 29 сентября 2026 года. Она называется «Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer». Подход строится на одной замороженной модели и одной версии harness.
Модель сначала решает задачи как solver. Затем она же выступает proposer. Она читает полные записи запусков и напрямую редактирует harness, который её запускает. Отдельный proposer не нужен.
| Параметр | Типовой метод | Подход из статьи |
|---|---|---|
| Кто меняет harness | Отдельный proposer | Та же замороженная модель |
| Исходный harness | Создан человеком | Одна версия harness |
| Охват | Отдельный harness на каждый бенчмарк | Задачи из пяти бенчмарков разных областей |
| Роли | Proposer и решатель разделены | Модель сначала solver, затем proposer |
Практический критерий: агент, который читает свои запуски и правит собственный harness, заменяет отдельного оптимизатора.
Пять бенчмарков и разделение данных
Каждая партия эволюции включает задачи из пяти бенчмарков разных областей. Обучающие и отложенные задачи строго разделены.
Дополнительно проводятся оценки на пяти бенчмарках вне распределения. Эти бенчмарки не использовались в ходе эволюции.
Практический критерий: оценки вне распределения проверяют перенос, а не только подгонку под знакомые задачи.
Два этапа эволюции
Процесс эволюции представлен как обучение глубокой модели в два этапа:
- Многозадачное предварительное обучение.
- Непрерывное обучение.
Начальная версия harness состояла из 49 строк. По итогам первого этапа средний результат вырос на 4.48 пункта на бенчмарках внутри распределения. На бенчмарках вне распределения рост составил 12.64 пункта. На первых результат превзошёл Codex, на вторых сравнялся с ним.
На втором этапе дальнейшая эволюция на Claw-Eval повысила результат на нём с 66.17 до 68.06. На этом бенчмарке подход превзошёл Codex.
Практический критерий: предварительное обучение расширяет перенос, непрерывное обучение дорабатывает результат на конкретном бенчмарке.
Механизмы, возникшие в ходе эволюции
Авторы анализируют три механизма:
- усечение вывода;
- сжатие истории;
- независимая проверка.
Усечение вывода ограничивает объём ответа. Сжатие истории сокращает контекст. Независимая проверка добавляет контроль результата. Эти механизмы появились из правок harness, а не были заданы человеком.
Практический критерий: возникшие механизмы служат ориентиром при оценке собственного каркаса.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Проверка coding-агентов в интерактивной XR-разработке: итоги GenXR-Bench
Опубликован GenXR-Bench — набор из 112 экспертных заданий для сквозной оценки coding-агентов в интерактивной XR-разработке: от доработки функций и исправления дефектов до создания приложений с проверкой поведения на потребительском оборудовании. У десяти протестированных моделей лучший результат составил 50,9% Pass@1; среди повторяющихся сбоев — обработка асинхронных событий датчиков, привязка объектов к реальному пространству и понимание взаимодействия в физическом контексте.
5 ноября 2026
Гибридная разметка изображений: автоматизация ускоряет обучение моделей компьютерного зрения
Статья описывает, как предварительная разметка алгоритмами сокращает ручную работу и повышает чистоту обучающих наборов, а также почему выборочная верификация человеком остаётся необходимой. Рассмотрены ограничения метода в трудных условиях съёмки и на редко встречающихся типах объектов.
5 ноября 2026
От скалярной награды к фронту Парето: LLM-синтез RTL с многокритериальным подкреплением
Предложен способ обучать языковую модель генерировать не одну схему, а набор RTL-кандидатов с разными компромиссами между площадью, задержкой и энергопотреблением; награда строится по вкладу варианта в гиперобъём фронта Парето. На RTLLM v2 относительный гиперобъём вырос на 13,3 п.п. относительно базовой версии без оптимизации PPA и на 14,4 п.п. относительно одноцелевого обучения с подкреплением.
5 ноября 2026