Zero2Repo 基准测试:从空目录自主构建项目的极限

13 十一月 20263 视图

研究建议在完整的仓库构建任务中评估编码智能体:输入包括规格说明、接口契约和空白环境,评估则通过隐藏测试进行,不使用 LLM 评判。即使是领先的智能体,也很少能通过所有检查;大多数失败都源于遗漏了个别需求项。

Zero2Repo 基准测试:从空目录自主构建项目的极限

Zero2Repo 检测什么

该基准测试评估编码智能体能否从零开始创建一个代码仓库。智能体会收到一份产品需求文档、一份接口契约和一个空的工作区。智能体必须在适合项目的原生生态系统中提供完整的代码仓库。

测试涵盖整个项目的构建过程。评估依据是最终完成的代码仓库。

  • 输入:产品需求文档、接口契约、空的工作区。
  • 输出:在适合项目的原生生态系统中的完整代码仓库。
  • 评估内容:从零开始创建代码仓库的能力。

结论:该基准测试检验的是从空目录自主构建项目。实用标准:将其用于评估智能体完成整个项目构建任务的能力。

任务如何生成

该流程以与编程语言无关的方式创建任务。它选取真实的开源项目及其固定版本。然后将这些项目转换为行为规范、可复现的环境和隐藏的验收测试。

步骤:

  • 选取真实的开源项目及其固定版本。
  • 将项目转换为行为规范。
  • 准备可复现的环境。
  • 构建隐藏的验收测试。

验证:

  • 源项目的参考实现能够通过测试。
  • 对抗性验证确认测试会拒绝不正确的实现。

结论:任务以参考实现和通过对抗性验证的测试为基础。实用标准:检查测试是否经过验证,而不仅仅是查看任务描述。

如何评估智能体

该基准测试在隔离容器中评估用于生产环境的编码智能体。在明确提交解决方案之前,验收测试始终处于隐藏状态。奖励是二元的:只有通过所有测试才会获得奖励。该基准测试不使用 LLM 评判器。

标准:

  • 为智能体提供隔离容器。
  • 在提交解决方案之前隐藏测试。
  • 通过所有测试才能获得二元奖励。
  • 不使用 LLM 评判器。

结论:部分通过测试不会获得奖励。实用标准:若要比较智能体,应采用只有通过全部隐藏测试才能取得成功的评估方式。

当前版本的语言与覆盖范围

该流程和测试系统不限定特定编程语言。当前版本包含 Python、TypeScript、Go 和 C++ 任务。

版本构成:

  • Python。
  • TypeScript。
  • Go。
  • C++。

结论:该基准测试不局限于一种语言,但当前任务集仅涵盖四种语言。实用标准:将项目所用语言与当前版本的语言范围进行比较。

从结果中可见的局限

这些局限体现在由 11 个任务构成的任务集上。这些任务来自一些代码仓库,前沿模型很可能在训练期间接触过它们。

结果显示:

  • 表现最强的智能体解决了 11 个任务中的 10 个。
  • 每个失败的提交都通过了 90-99% 的隐藏测试。
  • 两个最强智能体有 67-100% 的失败测试与遗漏一项内容或规范中的罕见规则有关。
  • 失败源于对规范遵循得不够准确,而非缺少某个子系统。
  • 作者将每一类此类失败都视为明确的改进目标。

结论:自主构建的局限体现在对规范中罕见规则和完整性的把握上。实用标准:检查智能体能否把握规范中的罕见规则,而不仅仅是能否构建子系统。

常问问题

Zero2Repo 基准测试:从空目录自主构建项目的极限