ScienceFlow: como um agente LLM aprende a concluir pesquisas em experimentos longos

11 setembro 20264 visualizações

O novo framework ScienceFlow ajuda agentes de IA a não perderem o objetivo em tarefas de pesquisa de longa duração: o trabalho é dividido em segmentos recuperáveis, e os recursos são alocados com base no progresso efetivamente confirmado. No MLE-bench, ele alcançou o melhor resultado entre as abordagens publicadas.

ScienceFlow: como um agente LLM aprende a concluir pesquisas em experimentos longos

Pesquisas longas: o problema não está em uma única consulta

Um pesquisador autônomo vive em uma realidade diferente da de um agente de chat comum. Ele precisa formular uma hipótese, testá-la, encontrar um erro, reescrever o script, executar o experimento e, às vezes, até voltar a uma versão anterior do modelo. Esse ciclo pode levar horas, e o valor de cada etapa só se torna claro no final.

Para a maioria dos agentes de autorresearch, isso é difícil. Quase não existem mecanismos de continuidade: se um experimento chega a um beco sem saída, o agente não sabe como retomar o fio perdido. Também não há uma função para redistribuir a computação com base na utilidade do resultado atual. Como consequência, a busca se torna difusa, os recursos computacionais são desperdiçados e a probabilidade de concluir o trabalho diminui.

Como funciona a nova abordagem

O framework ScienceFlow resolve exatamente esses problemas. Seus autores — uma equipe de 19 pesquisadores — apresentaram uma arquitetura end-to-end para experimentos científicos autônomos. O agente não age "por um único prompt": ele constrói uma longa trajetória de pesquisa.

Internamente, o trabalho é dividido em segmentos de pesquisa. Cada segmento está vinculado a um espaço de trabalho executável: é onde vivem os scripts, os dados e o ambiente. O progresso da pesquisa não são notas de texto dispersas, mas um estado executável restaurável. Esse estado pode ser "carregado" do disco, reexaminado, remontado e executado novamente. Graças a isso, o agente retorna facilmente a um ponto anterior e tenta outro ramo, em vez de começar tudo do zero.

ESTRA: como escolher a próxima bifurcação

O detalhe-chave é a transição entre estados por meio do mecanismo ESTRA (Executable-State Transition through Re-Anchoring). A cada passo, o agente observa dois tipos de estados: os vivos, onde se pode continuar imediatamente, e os arquivados, que já levaram a alguns resultados. Mas ele não escolhe apenas um novo ponto, e sim uma âncora para o movimento seguinte. Em seguida, define-se o cenário: continuar o movimento a partir desse estado ou redirecionar a pesquisa para outra direção.

Essa abordagem elimina o principal problema dos experimentos longos — o efeito do agente "preso", que continua se aprofundando em um ramo sem perspectivas porque não sabe como retroceder.

Controlador de execução com base nos resultados

Outra camada do framework é o controlador com base em resultados confirmados. Ele distribui recursos entre tarefas computacionais individuais, orientando-se por três fatores: disponibilidade de capacidade, orçamento restante e progresso já confirmado. Se uma direção deixa de produzir resultados mensuráveis, o controlador pode reduzir sua parcela e redirecionar recursos para onde o movimento é realmente visível. Não é um planejador de tarefas "ganancioso", mas uma forma de manter a estratégia geral dentro do objetivo.

O que os testes mostraram

Nos testes, o framework abrangeu não apenas o aprendizado de máquina clássico, mas também a modelagem científica e a otimização matemática. Os resultados obtidos indicam que o sistema é capaz de conduzir produtivamente longas sessões de pesquisa, sem transformá-las em uma sequência infinita de etapas desconexas.

O resultado mais notável — no MLE-bench completo dentro de um orçamento de 24 horas: 70,22% na métrica Any-Medal. Isso é 4,92 pontos percentuais acima dos números publicados anteriormente. Considerando que o MLE-bench testa cenários reais de aprendizado de máquina, este é um forte sinal: a robustez do processo às vezes é mais importante do que a inteligência inicial do modelo.

O que isso significa para a ciência autônoma

Os autores do artigo formulam uma conclusão importante: para escalar a pesquisa autônoma, o gerenciamento de estado, a exploração adaptativa e a execução alinhada ao objetivo são de importância decisiva. A capacidade de raciocinar bem por si só não basta — é necessária uma infraestrutura que impeça o agente de perder conquistas anteriores e o ajude a mudar de direção no momento certo.

Parece ser este o próximo passo dos assistentes de LLM para os verdadeiros sistemas de pesquisa autônomos. O trabalho em um horizonte longo deixa de ser um "diálogo curto com o modelo" e se torna um problema de engenharia: como construir um processo em que cada versão do experimento permaneça acessível, cada resultado seja verificado e cada passo seguinte decorra do progresso confirmado.

Perguntas mais frequentes

ScienceFlow: como um agente LLM aprende a concluir pesquisas em experimentos longos