Benchmark Zero2Repo: os limites da construção autónoma de um projeto a partir de um diretório vazio

13 novembro 20263 visualizações

O estudo propõe avaliar agentes de programação numa compilação completa do repositório: a entrada é uma especificação, um contrato de interface e um ambiente vazio; a verificação é feita com testes ocultos, sem um avaliador baseado em LLM. Mesmo os agentes líderes raramente passam em todas as verificações, e a maioria das falhas deve-se a requisitos específicos que não foram cumpridos.

Benchmark Zero2Repo: os limites da construção autónoma de um projeto a partir de um diretório vazio

O que o Zero2Repo avalia

O benchmark avalia se um agente de programação consegue criar um repositório do zero. O agente recebe um documento com os requisitos do produto, um contrato de interface e um espaço de trabalho vazio. O agente tem de fornecer um repositório completo no ecossistema nativo do projeto.

A avaliação abrange a construção integral do projeto. A classificação baseia-se no repositório concluído.

  • Entrada: documento com os requisitos do produto, contrato de interface, espaço de trabalho vazio.
  • Saída: repositório completo no ecossistema nativo do projeto.
  • Objeto da avaliação: capacidade de criar um repositório do zero.

Conclusão: o benchmark avalia a construção autónoma a partir de um diretório vazio. Critério prático: utilizá-lo para avaliar agentes em tarefas de construção integral de projetos.

Como são criadas as tarefas

O pipeline cria tarefas de forma independente da linguagem. Recolhe projetos reais de código aberto com versões fixadas. Em seguida, transforma-os em especificações comportamentais, ambientes reproduzíveis e testes de aceitação ocultos.

Etapas:

  • Seleção de projetos reais de código aberto com versões fixadas.
  • Transformação em especificações comportamentais.
  • Preparação de ambientes reproduzíveis.
  • Criação de testes de aceitação ocultos.

Validação:

  • A implementação de referência do projeto original passa nos testes.
  • A avaliação adversarial confirma que os testes rejeitam implementações incorretas.

Conclusão: a tarefa baseia-se numa implementação de referência e em testes que passaram por uma avaliação adversarial. Critério prático: verificar se os testes foram validados, e não apenas se a tarefa foi descrita.

Como é feita a avaliação do agente

O benchmark avalia agentes de programação destinados a ambientes de produção em contentores isolados. Os testes de aceitação permanecem ocultos até ao envio explícito da solução. A recompensa é binária: só é atribuída se todos os testes forem aprovados. O benchmark não utiliza um avaliador baseado em LLM.

Critérios:

  • Contentor isolado para o agente.
  • Testes ocultos até ao envio da solução.
  • Recompensa binária pela aprovação em todos os testes.
  • Ausência de avaliador baseado em LLM.

Conclusão: os testes parcialmente aprovados não dão direito a recompensa. Critério prático: para comparar agentes, é adequada uma avaliação em que o sucesso exige a aprovação em todos os testes ocultos.

Linguagens e âmbito da versão atual

O pipeline e o sistema de testes não pressupõem uma linguagem de programação específica. A versão atual inclui tarefas em Python, TypeScript, Go e C++.

Composição da versão:

  • Python.
  • TypeScript.
  • Go.
  • C++.

Conclusão: o benchmark não está limitado a uma única linguagem, mas o conjunto atual de tarefas abrange quatro linguagens. Critério prático: comparar a linguagem do projeto com as linguagens incluídas na versão.

Limitações visíveis nos resultados

As limitações são visíveis num conjunto de 11 tarefas. Estas tarefas foram retiradas de repositórios que os modelos avançados provavelmente encontraram durante o treino.

O que os resultados mostram:

  • O agente mais forte resolve 10 das 11 tarefas.
  • Cada submissão falhada passa em 90-99% dos testes ocultos.
  • Para os dois agentes mais fortes, 67-100% dos testes falhados estão relacionados com uma omissão ou uma regra rara da especificação.
  • A falha está relacionada com a precisão no cumprimento da especificação, não com a ausência de um subsistema.
  • Os autores identificam cada falha deste tipo como um objetivo concreto de melhoria.

Conclusão: o limite da construção autónoma manifesta-se na retenção de regras raras e na cobertura integral da especificação. Critério prático: verificar se o agente retém regras raras da especificação, e não apenas se constrói subsistemas.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
FedSocket: modelos intercambiáveis com executabilidade obrigatória no destinatário perante a heterogeneidade multimodal
Notícias

FedSocket: modelos intercambiáveis com executabilidade obrigatória no destinatário perante a heterogeneidade multimodal

É proposto o FedSocket — uma abordagem em que o modelo partilhado tem de poder ser executado no lado do destinatário, enquanto modelos privados heterogéneos são ligados por uma interface comum de previsões Q. O artigo descreve a agregação que tem em conta a pertença, o envio apenas dos parâmetros Q juntamente com os contadores e experiências em seis conjuntos de dados, que demonstram um aumento da precisão quando faltam modalidades e a vantagem da inferência conjunta sobre conjuntos independentes.

13 novembro 2026
CyberArena: confrontos entre agentes de IA revelam os limites dos benchmarks estáticos de cibersegurança
Notícias

CyberArena: confrontos entre agentes de IA revelam os limites dos benchmarks estáticos de cibersegurança

O benchmark coloca dois agentes em ambientes isolados com serviços em constante mudança e, após uma série de rodadas, resume as suas ações em avaliações multidimensionais de competências ofensivas e defensivas. Em 466 partidas com 12 modelos de ponta, distinguiu capacidades onde os testes unilaterais atingem o seu limite, incluindo o planeamento de vários movimentos e a criação de backdoors.

13 novembro 2026
Robustez dos detetores perante texto gerado por máquina e parafraseado: o que os testes revelaram
Investigação

Robustez dos detetores perante texto gerado por máquina e parafraseado: o que os testes revelaram

O artigo reúne os resultados de testes de ferramentas que reescrevem trechos gerados num estilo mais natural. Após esse processamento, a detetabilidade diminui consideravelmente, e os falsos positivos que persistem não permitem considerar o veredito do detetor como prova.

13 novembro 2026
Benchmark Zero2Repo: os limites da construção autónoma de um projeto a partir de um diretório vazio