OpenCollab:可编程智能体协调、受控执行环境与规程遵循度指标
该框架将智能体交互结构的设定、统一的实验环境和详细的事件追踪整合在一起;新增的 Adherence 指标则反映实际执行与声明方案的符合程度。在基准测试中,Duo 配置达到新的 SOTA 水平,而单智能体版本的 token 消耗量最低。

框架的用途
OpenCollab 是一个用于多智能体开发的框架。它提供统一的基础设施,用于可编程的交互和受控的运行环境。
关键要素:
- 多智能体开发;
- 智能体之间的可编程交互;
- 受控的运行环境。
实际意义:当需要通过编程设定智能体之间的协调,并在受控环境中执行时,就需要这个框架。
将智能体组织作为设计对象
OpenCollab 将智能体组织的设计与执行结合起来。组织成为配置的一部分,而不是外部描述。
设计内容包括:
- 智能体组织的组成;
- 声明的交互结构;
- 结构与执行之间的关联。
判断标准:组织必须描述得足以重现。否则,设计就只停留在声明层面。
受控运行环境与可观测性
OpenCollab 在共享运行环境中提供实验控制。该环境将智能体限制在同一个运行边界内。

该环境提供:
- 供待比较配置使用的共同执行条件;
- 实验控制;
- 详细的事件流。
实际判断标准:没有共享环境和事件流,对配置的比较就无法重现。
Adherence:规程遵循度指标
OpenCollab 的作者提出了 Adherence。该指标衡量实际执行的智能体组织与声明的组织之间的吻合程度。
该指标记录:
- 声明的智能体组织;
- 实际执行情况;
- 两者之间的差距,以百分比表示。
在实验中,改变配置的任何一个维度都会使 Adherence 发生变化。该指标的范围为 47.2% 至 97.2%。
实际判断标准:Adherence 显示声明的组织与实际执行之间的差距。评估该指标时,还应同时考察最终结果。
智能体开发基准测试结果
在智能体开发基准测试中,OpenCollab (Duo) 创下了新的 SOTA。作者将其与 Mini-SWE-agent、OpenHands、Codex CLI 和 Claude Code进行了比较。
根据作者的结果,设计良好的智能体组织可以优于现有的强大 harness。OpenCollab 的单智能体配置在所有评估的测试集中使用的 token 最少。
| 参与者 | 结果 |
|---|---|
| OpenCollab (Duo) | 在智能体开发基准测试中创下新的 SOTA |
| Mini-SWE-agent | 参与比较 |
| OpenHands | 参与比较 |
| Codex CLI | 参与比较 |
| Claude Code | 参与比较 |
| OpenCollab 单智能体配置 | 在所有评估的测试集中使用的 token 最少 |
选择标准:不仅要比较 SOTA 榜首的成绩,还要关注具体配置的 token 消耗。
实用选择标准
选择时,首先要检查能否通过编程设定智能体之间的协调。然后检查该框架是否衡量对声明的组织的遵循情况。OpenCollab 为此提供了 Adherence 和共享运行环境。
选择清单:
- 智能体之间的可编程协调。
- 是否具备 Adherence 指标。
- 共享运行环境和事件流。
- 在智能体开发基准测试中具有可比的结果。
- 所选配置的 token 消耗。
如果五项都可以验证,则该框架适用。如果有任何一项无法验证,选择就缺乏依据。
常问问题
相关材料
所有材料
Toollery:从数万种选项中为 LLM 智能体挑选工具,无需微调
Toollery 根据技能和工具的描述构建搜索索引,并在收到请求时只向模型传递有限的一组候选项。在规模达数万个函数的库上进行的实验表明,该方法在固定 top-K 的情况下能够保持选择质量,但最终效果取决于负载特征和服务提供商的缓存情况。
11 十一月 2026
仪表板分析中 GUI 智能体的分阶段诊断:DashAct 基准测试
介绍 DashAct:一个包含 348 条经人工验证轨迹的基准测试,将 GUI 代理与交互式面板的工作拆分为三个阶段和四种视觉条件。结果显示,代理在动作预测和视觉目标定位方面存在持续性问题,其响应也依赖于上下文和空间支持。
11 十一月 2026
WILSON:整合患者的放大图像和切片,用于病理形态学分析和报告生成
这篇预印本介绍了 WILSON——一种视觉语言模型,可对整张玻片图像以及同一患者在不同放大倍率下的一系列切片进行编码,而不只是单张“最佳”切片。无需针对特定任务进行微调,它在多项指标上超越了专用且规模更大的切片模型,同时计算负载显著更低;其诊断描述也获得了病理学家更高的评价。
11 十一月 2026