Бенчмарк Zero2Repo: пределы автономной сборки проекта из пустого каталога
Исследование предлагает оценивать кодирующих агентов на полной сборке репозитория: вход — спецификация, интерфейсный контракт и пустая среда, проверка — скрытые тесты без LLM-судьи. Даже ведущие агенты редко проходят все проверки, а основная доля сбоев приходится на отдельные пропущенные пункты требований.

Что проверяет Zero2Repo
Бенчмарк оценивает, может ли кодирующий агент создать репозиторий с нуля. Агент получает документ с требованиями к продукту, контракт интерфейса и пустое рабочее пространство. Агент должен предоставить полный репозиторий в экосистеме, родной для проекта.

Проверка охватывает сборку проекта целиком. Оценка опирается на готовый репозиторий.
- Вход: документ с требованиями к продукту, контракт интерфейса, пустое рабочее пространство.
- Выход: полный репозиторий в родной для проекта экосистеме.
- Предмет оценки: способность создать репозиторий с нуля.
Вывод: бенчмарк проверяет автономную сборку из пустого каталога. Практический критерий: применять его для оценки агентов на задачах сборки проекта целиком.
Как формируются задачи
Конвейер создаёт задачи языконезависимым способом. Он берёт реальные проекты с открытым исходным кодом и зафиксированными версиями. Затем конвейер преобразует их в поведенческие спецификации, воспроизводимые среды и скрытые приёмочные тесты.
Этапы:
- Отбор реальных проектов с открытым исходным кодом и зафиксированными версиями.
- Преобразование в поведенческие спецификации.
- Подготовка воспроизводимых сред.
- Формирование скрытых приёмочных тестов.
Валидация:
- Эталонная реализация из исходного проекта проходит тесты.
- Состязательная проверка подтверждает, что тесты отвергают некорректные реализации.
Вывод: задача опирается на эталонную реализацию и на тесты, прошедшие состязательную проверку. Практический критерий: проверять наличие валидации тестов, а не только описание задачи.
Как проходит оценка агента
Бенчмарк оценивает производственных кодирующих агентов в изолированных контейнерах. Приёмочные тесты остаются скрытыми до явной отправки решения. Награда бинарная: её начисляют только при прохождении всех тестов. Бенчмарк не использует LLM-судью.
Критерии:
- Изолированный контейнер для агента.
- Скрытые тесты до отправки решения.
- Бинарная награда за все тесты.
- Отсутствие LLM-судьи.
Вывод: частично пройденные тесты не дают награды. Практический критерий: для сравнения агентов подходит оценка, где успех требует полного прохождения скрытых тестов.
Языки и охват текущего выпуска
Конвейер и тестовая система не предполагают конкретный язык программирования. В текущем выпуске есть задачи на Python, TypeScript, Go и C++.
Состав выпуска:
- Python.
- TypeScript.
- Go.
- C++.
Вывод: бенчмарк не привязан к одному языку, но текущий набор задач ограничен четырьмя языками. Практический критерий: сопоставлять язык проекта с составом выпуска.
Пределы, которые видны по результатам
Пределы видны на наборе из 11 задач. Эти задачи взяты из репозиториев, которые передовые модели, вероятнее всего, встречали во время обучения.
Что показывают результаты:
- Сильнейший агент решает 10 из 11 задач.
- Каждая неудачная отправка проходит 90-99% скрытых тестов.
- У двух сильнейших агентов 67-100% проваленных тестов связаны с одним пропуском или редким правилом из спецификации.
- Провал связан с точностью следования спецификации, а не с отсутствием подсистемы.
- Авторы называют каждый такой сбой конкретной целью для улучшения.
Вывод: предел автономной сборки проявляется в удержании редких правил и полноты спецификации. Практический критерий: проверять, как агент удерживает редкие правила спецификации, а не только собирает подсистемы.
Часто задаваемые вопросы
Похожие материалы
Все материалы
FedSocket: обмениваемые модели с обязательной исполнимостью у получателя при мультимодальной гетерогенности
Предложен FedSocket — подход, при котором обмениваемая модель обязана быть вычислима на стороне получателя, а разнородные частные модели связывает общий интерфейс предсказаний Q. В статье описаны агрегация с учётом принадлежности, пересылка лишь параметров Q вместе со счётчиками и эксперименты на шести датасетах, демонстрирующие рост точности при недостающих модальностях и преимущество Joint-инференса над независимыми ансамблями.
13 ноября 2026
CyberArena: парные матчи ИИ-агентов выявляют пределы статичных кибербенчмарков
Бенчмарк помещает двух агентов в песочницы с непрерывно меняющимися сервисами и по итогам серии раундов сводит их действия к многомерным оценкам наступательных и оборонительных навыков. На 466 матчах с 12 современными моделями он различил возможности там, где односторонние тесты упираются в потолок, включая планирование на несколько ходов и создание бэкдоров.
13 ноября 2026
Устойчивость детекторов к перефразированному машинному тексту: что выявили испытания
В материале собраны результаты проверок инструментов, которые переписывают сгенерированные фрагменты под более естественный стиль. После такой обработки обнаруживаемость заметно снижается, а сохраняющиеся ложные срабатывания не позволяют считать вердикт детектора доказательством.
13 ноября 2026