Benchmark Zero2Repo: límites de la creación autónoma de proyectos desde un directorio vacío

13 noviembre 20263 vistas

El estudio propone evaluar agentes de programación en una compilación completa del repositorio: la entrada incluye una especificación, un contrato de interfaz y un entorno vacío; la evaluación se realiza con pruebas ocultas, sin un juez basado en LLM. Incluso los agentes más destacados rara vez superan todas las pruebas, y la mayoría de los fallos se debe a requisitos puntuales que se han pasado por alto.

Benchmark Zero2Repo: límites de la creación autónoma de proyectos desde un directorio vacío

Qué evalúa Zero2Repo

El benchmark evalúa si un agente de programación puede crear un repositorio desde cero. El agente recibe un documento con los requisitos del producto, un contrato de interfaz y un espacio de trabajo vacío. Debe entregar un repositorio completo en el ecosistema propio del proyecto.

La evaluación abarca la creación completa del proyecto. La puntuación se basa en el repositorio terminado.

  • Entrada: documento con los requisitos del producto, contrato de interfaz y espacio de trabajo vacío.
  • Salida: repositorio completo en el ecosistema propio del proyecto.
  • Objeto de evaluación: capacidad para crear un repositorio desde cero.

Conclusión: el benchmark evalúa la creación autónoma desde un directorio vacío. Criterio práctico: usarlo para evaluar agentes en tareas de creación integral de proyectos.

Cómo se generan las tareas

El proceso crea tareas de forma independiente del lenguaje. Parte de proyectos reales de código abierto con versiones fijadas. A continuación, transforma estos proyectos en especificaciones de comportamiento, entornos reproducibles y pruebas de aceptación ocultas.

Etapas:

  • Selección de proyectos reales de código abierto con versiones fijadas.
  • Transformación en especificaciones de comportamiento.
  • Preparación de entornos reproducibles.
  • Creación de pruebas de aceptación ocultas.

Validación:

  • La implementación de referencia del proyecto original supera las pruebas.
  • La verificación adversarial confirma que las pruebas rechazan las implementaciones incorrectas.

Conclusión: la tarea se basa en una implementación de referencia y en pruebas que han superado una verificación adversarial. Criterio práctico: comprobar que las pruebas se han validado, no solo que la tarea esté descrita.

Cómo se evalúa al agente

El benchmark evalúa agentes de programación de producción en contenedores aislados. Las pruebas de aceptación permanecen ocultas hasta que se envía explícitamente la solución. La recompensa es binaria: solo se concede si se superan todas las pruebas. El benchmark no utiliza un juez LLM.

Criterios:

  • Contenedor aislado para el agente.
  • Pruebas ocultas hasta el envío de la solución.
  • Recompensa binaria por superar todas las pruebas.
  • Ausencia de un juez LLM.

Conclusión: superar solo una parte de las pruebas no da derecho a una recompensa. Criterio práctico: para comparar agentes, conviene una evaluación en la que el éxito requiera superar todas las pruebas ocultas.

Lenguajes y cobertura de la versión actual

El proceso y el sistema de pruebas no presuponen un lenguaje de programación concreto. La versión actual incluye tareas en Python, TypeScript, Go y C++.

Composición de la versión:

  • Python.
  • TypeScript.
  • Go.
  • C++.

Conclusión: el benchmark no está ligado a un solo lenguaje, pero el conjunto actual de tareas se limita a cuatro. Criterio práctico: comparar el lenguaje del proyecto con los incluidos en la versión.

Límites que se aprecian en los resultados

Los límites se aprecian en un conjunto de 11 tareas. Estas tareas proceden de repositorios con los que probablemente se encontraron modelos avanzados durante su entrenamiento.

Qué muestran los resultados:

  • El agente más potente resuelve 10 de las 11 tareas.
  • Cada envío fallido supera el 90-99 % de las pruebas ocultas.
  • En los dos agentes más potentes, entre el 67 y el 100 % de las pruebas fallidas están relacionadas con una omisión o una regla poco frecuente de la especificación.
  • El fallo está relacionado con la precisión al seguir la especificación, no con la ausencia de un subsistema.
  • Los autores consideran cada fallo de este tipo un objetivo concreto de mejora.

Conclusión: el límite de la creación autónoma se manifiesta en la retención de reglas poco frecuentes y de la especificación completa. Criterio práctico: comprobar cómo retiene el agente las reglas poco frecuentes de la especificación, no solo cómo construye subsistemas.

Preguntas frecuentes

Material similar

Todos los materiales
FedSocket: modelos intercambiables con ejecución obligatoria en el receptor ante la heterogeneidad multimodal
Noticias

FedSocket: modelos intercambiables con ejecución obligatoria en el receptor ante la heterogeneidad multimodal

Se propone FedSocket, un enfoque en el que el modelo intercambiado debe poder ejecutarse en el lado del receptor y los distintos modelos privados se conectan mediante una interfaz común de predicción Q. El artículo describe una agregación que tiene en cuenta la pertenencia, el envío únicamente de los parámetros de Q junto con los contadores y experimentos con seis conjuntos de datos que demuestran un aumento de la precisión cuando faltan modalidades y la ventaja de la inferencia conjunta frente a los ensamblajes independientes.

13 noviembre 2026
CyberArena: los enfrentamientos por parejas entre agentes de IA revelan los límites de los benchmarks estáticos de ciberseguridad
Noticias

CyberArena: los enfrentamientos por parejas entre agentes de IA revelan los límites de los benchmarks estáticos de ciberseguridad

El benchmark sitúa a dos agentes en entornos aislados con servicios que cambian continuamente y, tras una serie de rondas, resume sus acciones en puntuaciones multidimensionales de habilidades ofensivas y defensivas. En 466 partidas con 12 modelos de última generación, distinguió capacidades allí donde las pruebas unidireccionales alcanzan su límite, incluido el razonamiento a varios turnos y la creación de puertas traseras.

13 noviembre 2026
Resistencia de los detectores al texto generado por máquinas y parafraseado: qué revelaron las pruebas
Investigación

Resistencia de los detectores al texto generado por máquinas y parafraseado: qué revelaron las pruebas

El artículo recopila los resultados de las pruebas de herramientas que reescriben fragmentos generados para darles un estilo más natural. Tras este procesamiento, la detectabilidad disminuye notablemente, y los falsos positivos que persisten impiden considerar el veredicto del detector como una prueba.

13 noviembre 2026
Benchmark Zero2Repo: límites de la creación autónoma de proyectos desde un directorio vacío