O que e para que serve o FinSkillBench
Ao comparar agentes de IA para gestão de investimentos, é fácil se deixar levar pela escolha do modelo de linguagem: mais parâmetros, arquitetura mais nova, pontuação mais alta em testes comuns. Mas o FinSkillBench propõe olhar para o problema de outro ângulo: o quanto o agente realmente sabe usar habilidades procedurais financeiras — instruções passo a passo e componentes executáveis que transformam conhecimento em ação.
O benchmark abrange três áreas-chave do trabalho de investimento:
- construção de carteira
- gestão de riscos
- análise fundamental
Dentro dessas áreas, os autores reuniram 12 subtarefas e 2603 episódios. Cada episódio é uma tarefa com dados de um momento específico, uma resposta correta oculta e uma formulação que o agente deve transformar em ação. Ou seja, não se testa a memória do modelo, mas sua capacidade de aplicar o procedimento certo no momento certo.
Três modos de operação do agente
Para entender o que exatamente a habilidade proporciona, os autores compararam três variações de comportamento do agente.
- Sem habilidades. O modelo resolve a tarefa com conhecimento "puro", sem dicas externas sobre como agir.
- Com habilidades curadas. O agente recebe um conjunto de documentos procedurais e componentes executáveis selecionados por especialistas. Isso é, na prática, uma biblioteca pronta de ações: regras, fórmulas, algoritmos.
- Com habilidades autogeradas. O agente escreve seus próprios procedimentos ao longo da resolução e tenta usá-los adiante dentro do mesmo episódio.
A questão-chave era se procedimentos bem preparados compensam as limitações do modelo — ou se um modelo inteligente é capaz de lidar sozinho.
Os resultados foram reveladores. Em nove modelos, a adição de habilidades curadas melhorou consistentemente as pontuações finais: a média subiu de 0.366 para 0.528. O efeito foi mais forte na construção de carteira e na gestão de riscos — onde a sequência de ações e regras explícitas são importantes.
Autogeração quase não ajuda
A intuição sugere: dê ao modelo a capacidade de criar seus próprios procedimentos — e ele se adaptará à tarefa melhor do que com modelos alheios. No experimento, isso não se confirmou. As habilidades autogeradas trouxeram apenas uma melhoria marginal, mas exigiram consideravelmente mais recursos computacionais. O agente gastava tempo criando e reescrevendo procedimentos, mas o resultado quase não mudava.
A autogeração ingênua é como reinventar a roda a cada tarefa: cara e sem garantia de qualidade. Uma habilidade procedural pronta e testada se mostra mais confiável do que a tentativa do modelo de derivar o método do zero toda vez.
Reprodutibilidade em outro framework
Qualquer benchmark pode ser "ajustado" para um ambiente específico. Por isso, os autores também executaram a avaliação em um framework de agente independente, o Hermes Agent: 8 modelos, 5280 episódios, as mesmas três áreas. O padrão geral se confirmou — habilidades prontas melhoram o desempenho dos agentes em todas as direções.
No entanto, a magnitude do efeito não foi uniforme: dependia tanto da subtarefa quanto da arquitetura do "pipeline" do agente. Essa é uma ressalva importante: habilidades não são um botão mágico, mas oferecem uma vantagem sistemática.
Conclusão para quem constrói agentes de investimento
A principal lição prática do estudo: na gestão de investimentos, o acesso a habilidades procedurais confiáveis pode ser tão importante quanto a escolha do modelo base. Se o agente tem um procedimento claro e sabe segui-lo, ele frequentemente supera um modelo mais forte que age às cegas.
Para equipes de produto, isso significa que não se deve investir todos os esforços apenas na seleção do modelo. Vale a pena dedicar atenção à formação de uma biblioteca de procedimentos financeiros testados: como recalcular as proporções da carteira, como considerar o fator de risco, como analisar relatórios. Os autores destacam separadamente: os procedimentos devem ser curados, e não criados pelo agente em tempo real.
Detalhe final: os autores disponibilizaram o próprio benchmark, as ferramentas de avaliação, os pacotes de habilidades curadas e as trajetórias completas de ação dos agentes. Isso permite reproduzir os resultados e desenvolver seus próprios sistemas de agente sem começar tudo do zero.
