OpenCollab: программируемая координация агентов, контролируемая среда исполнения и метрика соблюдения регламента
Фреймворк сводит воедино задание структуры взаимодействия агентов, общее окружение для экспериментов и подробную трассировку событий, а вводимый показатель Adherence отражает, насколько реальное выполнение соответствует заявленной схеме. В бенчмарках конфигурация Duo выходит на новый уровень SOTA, тогда как одноагентный вариант отличается наименьшим расходом токенов.

Назначение фреймворка
OpenCollab — фреймворк для мультиагентной разработки. Он даёт единую инфраструктуру для программируемого взаимодействия и управляемой среды выполнения.
Ключевые элементы:
- мультиагентная разработка;
- программируемое взаимодействие агентов;
- управляемая среда выполнения.
Практический смысл: фреймворк нужен, когда координацию агентов требуется задавать программно и выполнять в контролируемом контуре.
Организация агентов как объект проектирования
OpenCollab объединяет проектирование организации агентов с выполнением. Организация становится частью конфигурации, а не внешним описанием.
Что попадает в проектирование:
- состав организации агентов;
- заявленная структура взаимодействия;
- связь структуры с выполнением.
Критерий: организация должна быть описана так, чтобы её можно было воспроизвести. Иначе проектирование остаётся декларацией.
Контролируемая среда выполнения и наблюдаемость
OpenCollab обеспечивает экспериментальный контроль в общей среде выполнения. Среда удерживает агентов в одном контуре.

Что даёт среда:
- общие условия выполнения для сравниваемых конфигураций;
- экспериментальный контроль;
- детализированные потоки событий.
Практический критерий: без общей среды и потоков событий сравнение конфигураций теряет воспроизводимость.
Adherence: метрика соблюдения регламента
Авторы OpenCollab вводят Adherence. Показатель измеряет, насколько фактически реализована заявленная организация агентов.
Что фиксирует метрика:
- заявленную организацию агентов;
- фактическое выполнение;
- разрыв между ними в процентах.
В экспериментах изменение любого одного измерения конфигурации сдвигало Adherence. Показатель варьировался от 47,2% до 97,2%.
Практический критерий: Adherence показывает разрыв между заявленной организацией и фактическим выполнением. Метрику оценивают вместе с итоговыми результатами.
Результаты в бенчмарках агентной разработки
В бенчмарках агентной разработки OpenCollab (Duo) показал новый SOTA. Авторы сравнили его с Mini-SWE-agent, OpenHands, Codex CLI и Claude Code.
Согласно результатам авторов, хорошо спроектированная организация агентов может превосходить сильные существующие harnesses. Одноагентная конфигурация OpenCollab использовала меньше всего токенов среди всех оценённых наборов тестов.
| Участник | Результат |
|---|---|
| OpenCollab (Duo) | Новый SOTA в бенчмарках агентной разработки |
| Mini-SWE-agent | Участвовал в сравнении |
| OpenHands | Участвовал в сравнении |
| Codex CLI | Участвовал в сравнении |
| Claude Code | Участвовал в сравнении |
| Одноагентная конфигурация OpenCollab | Меньше всего токенов среди всех оценённых наборов тестов |
Критерий выбора: сравнивать не только верхнюю строку SOTA, но и расход токенов у конкретной конфигурации.
Практический критерий выбора
Выбор начинают с проверки, можно ли задать координацию агентов программно. Затем проверяют, измеряет ли фреймворк соблюдение заявленной организации. OpenCollab даёт для этого Adherence и общую среду выполнения.
Чек-лист выбора:
- Программируемая координация агентов.
- Наличие метрики Adherence.
- Общая среда выполнения и потоки событий.
- Сопоставимый результат в бенчмарках агентной разработки.
- Расход токенов выбранной конфигурации.
Фреймворк подходит, если все пять пунктов проверяемы. Если пункт не проверяем, выбор теряет опору.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Toollery: выбор инструментов для LLM-агентов из десятков тысяч опций без дообучения
Toollery строит поисковый индекс по описаниям навыков и инструментов, а при запросе передаёт модели лишь ограниченный набор кандидатов. В экспериментах на библиотеках масштабом до десятков тысяч функций подход позволяет удерживать качество выбора при фиксированном top-K, хотя итоговый эффект зависит от профиля нагрузки и кэширования у провайдера.
11 ноября 2026
Поэтапная диагностика GUI-агентов при анализе дашбордов: бенчмарк DashAct
Представлен DashAct — бенчмарк из 348 проверенных человеком траекторий, который разбирает работу GUI-агентов с интерактивными панелями на три этапа и четыре визуальных условия. Результаты показывают устойчивые проблемы с предсказанием действий и привязкой к визуальным целям, а также зависимость реакции агентов от контекстной и пространственной поддержки.
11 ноября 2026
WILSON: объединение увеличений и стёкол пациента для патоморфологического анализа и формирования заключений
Препринт представляет WILSON — vision-language модель, которая кодирует изображения целых стёкол и серии препаратов одного пациента при разных увеличениях, а не только отдельный «лучший» слайд. Без дообучения под задачу она обходит специализированные и более крупные слайды-модели по ряду метрик при существенно меньшей вычислительной нагрузке, а её диагностические описания получили более высокие оценки патологов.
11 ноября 2026