OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras

11 novembro 20264 visualizações

O framework reúne a definição da estrutura de interação entre agentes, um ambiente comum para experimentos e o rastreamento detalhado de eventos, enquanto a métrica Adherence, introduzida agora, reflete o quanto a execução real corresponde ao esquema declarado. Nos benchmarks, a configuração Duo alcança um novo patamar de SOTA, enquanto a variante de agente único se destaca pelo menor consumo de tokens.

OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras

Finalidade do framework

OpenCollab é um framework para desenvolvimento multiagente. Fornece uma infraestrutura unificada para interação programável e um ambiente de execução controlado.

Elementos-chave:

  • desenvolvimento multiagente;
  • interação programável entre agentes;
  • ambiente de execução controlado.

Significado prático: o framework é necessário quando a coordenação dos agentes tem de ser definida por programação e executada num ambiente controlado.

Organização dos agentes como objeto de conceção

OpenCollab combina a conceção da organização dos agentes com a execução. A organização passa a fazer parte da configuração, em vez de ser uma descrição externa.

O que faz parte da conceção:

  • composição da organização de agentes;
  • estrutura de interação declarada;
  • relação entre a estrutura e a execução.

Critério: a organização deve ser descrita de forma a poder ser reproduzida. Caso contrário, a conceção não passa de uma declaração.

Ambiente de execução controlado e observabilidade

OpenCollab proporciona controlo experimental num ambiente de execução partilhado. O ambiente mantém os agentes num mesmo contexto.

O que o ambiente proporciona:

  • condições de execução partilhadas para as configurações comparadas;
  • controlo experimental;
  • fluxos de eventos detalhados.

Critério prático: sem um ambiente partilhado e fluxos de eventos, a comparação entre configurações perde reprodutibilidade.

Adherence: métrica de cumprimento do protocolo

Os autores do OpenCollab introduzem o Adherence. O indicador mede até que ponto a organização de agentes declarada é efetivamente implementada.

O que a métrica regista:

  • a organização de agentes declarada;
  • a execução efetiva;
  • a diferença entre ambas, em percentagem.

Nas experiências, a alteração de qualquer dimensão da configuração fazia variar o Adherence. O indicador variou entre 47,2% e 97,2%.

Critério prático: o Adherence revela a diferença entre a organização declarada e a execução efetiva. A métrica é avaliada em conjunto com os resultados finais.

Resultados em benchmarks de desenvolvimento de agentes

Nos benchmarks de desenvolvimento de agentes, o OpenCollab (Duo) alcançou um novo SOTA. Os autores compararam-no com o Mini-SWE-agent, OpenHands, Codex CLI e Claude Code.

De acordo com os resultados dos autores, uma organização de agentes bem concebida pode superar harnesses existentes de alto desempenho. A configuração de agente único do OpenCollab utilizou menos tokens do que qualquer outro conjunto de testes avaliado.

ParticipanteResultado
OpenCollab (Duo)Novo SOTA em benchmarks de desenvolvimento de agentes
Mini-SWE-agentIncluído na comparação
OpenHandsIncluído na comparação
Codex CLIIncluído na comparação
Claude CodeIncluído na comparação
Configuração de agente único do OpenCollabMenos tokens do que qualquer outro conjunto de testes avaliado

Critério de seleção: comparar não só o primeiro lugar no SOTA, mas também o consumo de tokens da configuração específica.

Critérios práticos de seleção

A seleção começa por verificar se é possível definir a coordenação dos agentes por programação. Em seguida, verifica-se se o framework mede o cumprimento da organização declarada. O OpenCollab disponibiliza o Adherence e um ambiente de execução partilhado para esse efeito.

Lista de verificação para a seleção:

  1. Coordenação programável de agentes.
  2. Disponibilidade da métrica Adherence.
  3. Ambiente de execução partilhado e fluxos de eventos.
  4. Resultados comparáveis em benchmarks de desenvolvimento de agentes.
  5. Consumo de tokens da configuração escolhida.

O framework é adequado se todos os cinco pontos puderem ser verificados. Se algum ponto não puder ser verificado, a seleção fica sem fundamento.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
Toollery: seleção de ferramentas para agentes LLM entre dezenas de milhares de opções sem fine-tuning
Notícias

Toollery: seleção de ferramentas para agentes LLM entre dezenas de milhares de opções sem fine-tuning

A Toollery cria um índice de pesquisa com base nas descrições de competências e ferramentas e, a cada consulta, transmite ao modelo apenas um conjunto limitado de candidatos. Em testes com bibliotecas de dezenas de milhares de funções, a abordagem permite manter a qualidade da seleção com um top-K fixo, embora o efeito final dependa do perfil de carga e do cache do fornecedor.

11 novembro 2026
Diagnóstico passo a passo de agentes GUI na análise de dashboards: benchmark DashAct
Investigação

Diagnóstico passo a passo de agentes GUI na análise de dashboards: benchmark DashAct

Apresentamos o DashAct — um benchmark com 348 trajetórias verificadas por humanos, que divide o trabalho de agentes GUI com painéis interativos em três etapas e quatro condições visuais. Os resultados revelam problemas persistentes na previsão de ações e na associação a alvos visuais, bem como a dependência das respostas dos agentes do suporte contextual e espacial.

11 novembro 2026
WILSON: integração de ampliações e lâminas de pacientes para análise anatomopatológica e elaboração de laudos
Notícias

WILSON: integração de ampliações e lâminas de pacientes para análise anatomopatológica e elaboração de laudos

O preprint apresenta o WILSON — um modelo de visão e linguagem que codifica imagens de lâminas inteiras e séries de preparações de um mesmo paciente em diferentes ampliações, em vez de apenas uma lâmina «melhor». Sem ajuste fino para a tarefa, supera modelos especializados e maiores para lâminas em várias métricas, com uma carga computacional substancialmente menor, e as suas descrições diagnósticas receberam avaliações mais elevadas dos patologistas.

11 novembro 2026
OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras