O que controla exatamente o RobustSGPO
O RobustSGPO desenvolve o SGPO — otimização de prompts baseada em gradiente semântico — utilizando feedback da execução. A regra local do SGPO não define a escala da edição nem a operação específica.
O controlo abrange o pedido de edição, a verificação do patch criado e a escolha do ponto de partida para o passo seguinte. Isto separa o controlo da pesquisa de variantes do próprio sinal de feedback.
Critério prático: esta abordagem é adequada para ajustes em que é importante especificar a operação de edição e verificar os patches, em vez de apenas obter feedback.
Como funciona a pesquisa de variantes
O processo inclui três ações:
- Definir a edição solicitada.
- Criar um patch e verificá-lo.
- Prosseguir a pesquisa a partir da variante atualmente melhor ou de instantâneos guardados.
| Ponto de partida | A partir de onde prossegue a pesquisa |
|---|---|
| Melhor variante atual, incumbent | A partir da melhor variante até ao momento |
| Instantâneos guardados, snapshots retidos | A partir das versões guardadas |
A escolha determina a versão a partir da qual a pesquisa prossegue. O critério é saber se é necessária a melhor versão atual ou pontos de partida alternativos guardados.
Como se planeia a resolução da edição
O estudo comparou um calendário periódico $1\to2\to3$ com uma resolução máxima fixa. O calendário periódico superou o fixo em 0,28 pontos na pontuação de teste.
Os autores avaliaram o planeamento de resoluções, as restrições cumulativas e a transferência entre famílias de tarefas. O resultado diz respeito a estas avaliações e não estabelece uma vantagem universal do calendário.
O critério de comparação é a pontuação de teste com o calendário escolhido. No estudo apresentado, a variação periódica da resolução teve melhores resultados.
O que mostrou a avaliação de qualidade
No fluxo de trabalho de brainstorming do AgentX, foram realizadas 95 execuções em 120 tarefas e obtidas 7 350 tentativas de candidatos.
Nas 30 tarefas reservadas para teste, a taxa de conclusão aumentou de 60,0% para 80,0%. A qualidade de teste subiu de 3,77 para 4,14, com um orçamento de 20 milhões de tokens.
Estes indicadores descrevem os resultados de uma avaliação específica. Ao comparar sistemas, é importante ter em conta as tarefas e o orçamento dessa avaliação, em vez de transpor os valores para outras condições.
Como escolher uma estratégia para guardar variantes
Guardar variantes gera custos adicionais mensuráveis. Ao mesmo tempo, o controlo do espaço de pesquisa aumenta a qualidade através de edições executáveis e pontos de partida alternativos.
| Estratégia | Resultado após a mudança de tarefas |
|---|---|
| Guardar por categorias | Reduz a degradação nas tarefas originais |
| Guardar aleatoriamente | Produz um resultado mais elevado no conjunto-alvo |
A escolha depende da prioridade: manter o desempenho nas tarefas originais ou obter um resultado mais elevado no conjunto-alvo. Os custos de guardar variantes continuam a fazer parte da avaliação.
