OpenCollab:可编程智能体协调、受控执行环境与规程遵循度指标

11 十一月 20264 视图

该框架将智能体交互结构的设定、统一的实验环境和详细的事件追踪整合在一起;新增的 Adherence 指标则反映实际执行与声明方案的符合程度。在基准测试中,Duo 配置达到新的 SOTA 水平,而单智能体版本的 token 消耗量最低。

OpenCollab:可编程智能体协调、受控执行环境与规程遵循度指标

框架的用途

OpenCollab 是一个用于多智能体开发的框架。它提供统一的基础设施,用于可编程的交互和受控的运行环境。

关键要素:

  • 多智能体开发;
  • 智能体之间的可编程交互;
  • 受控的运行环境。

实际意义:当需要通过编程设定智能体之间的协调,并在受控环境中执行时,就需要这个框架。

将智能体组织作为设计对象

OpenCollab 将智能体组织的设计与执行结合起来。组织成为配置的一部分,而不是外部描述。

设计内容包括:

  • 智能体组织的组成;
  • 声明的交互结构;
  • 结构与执行之间的关联。

判断标准:组织必须描述得足以重现。否则,设计就只停留在声明层面。

受控运行环境与可观测性

OpenCollab 在共享运行环境中提供实验控制。该环境将智能体限制在同一个运行边界内。

该环境提供:

  • 供待比较配置使用的共同执行条件;
  • 实验控制;
  • 详细的事件流。

实际判断标准:没有共享环境和事件流,对配置的比较就无法重现。

Adherence:规程遵循度指标

OpenCollab 的作者提出了 Adherence。该指标衡量实际执行的智能体组织与声明的组织之间的吻合程度。

该指标记录:

  • 声明的智能体组织;
  • 实际执行情况;
  • 两者之间的差距,以百分比表示。

在实验中,改变配置的任何一个维度都会使 Adherence 发生变化。该指标的范围为 47.2% 至 97.2%。

实际判断标准:Adherence 显示声明的组织与实际执行之间的差距。评估该指标时,还应同时考察最终结果。

智能体开发基准测试结果

在智能体开发基准测试中,OpenCollab (Duo) 创下了新的 SOTA。作者将其与 Mini-SWE-agent、OpenHands、Codex CLI 和 Claude Code进行了比较。

根据作者的结果,设计良好的智能体组织可以优于现有的强大 harness。OpenCollab 的单智能体配置在所有评估的测试集中使用的 token 最少。

参与者结果
OpenCollab (Duo)在智能体开发基准测试中创下新的 SOTA
Mini-SWE-agent参与比较
OpenHands参与比较
Codex CLI参与比较
Claude Code参与比较
OpenCollab 单智能体配置在所有评估的测试集中使用的 token 最少

选择标准:不仅要比较 SOTA 榜首的成绩,还要关注具体配置的 token 消耗。

实用选择标准

选择时,首先要检查能否通过编程设定智能体之间的协调。然后检查该框架是否衡量对声明的组织的遵循情况。OpenCollab 为此提供了 Adherence 和共享运行环境。

选择清单:

  1. 智能体之间的可编程协调。
  2. 是否具备 Adherence 指标。
  3. 共享运行环境和事件流。
  4. 在智能体开发基准测试中具有可比的结果。
  5. 所选配置的 token 消耗。

如果五项都可以验证,则该框架适用。如果有任何一项无法验证,选择就缺乏依据。

常问问题

OpenCollab:可编程智能体协调、受控执行环境与规程遵循度指标