Os agentes de IA modernos trabalham cada vez mais em modo de diálogo: o usuário define uma tarefa, o agente recorre a ferramentas, retorna o resultado, e a pessoa refina ou corrige a solicitação. Essa interação de múltiplas etapas é difícil de avaliar, porque no final há apenas o resultado final. Ele não mostra quais ações do agente realmente ajudaram e quais foram desnecessárias.
Por que apenas o resultado não é suficiente
No aprendizado por reforço para esses agentes, geralmente se usa o rollout: o agente executa uma série de ações e, em seguida, recebe uma recompensa pelo resultado final. Essa abordagem é conveniente, mas bastante grosseira. Um refinamento bem-sucedido da solicitação, um erro explícito e uma correção posterior recebem o mesmo crédito, embora suas contribuições para o resultado sejam completamente diferentes. Por causa disso, o agente aprende mais devagar e nem sempre entende qual ação específica levou ao sucesso.
Os autores do novo estudo chamam a atenção para uma fonte valiosa de sinal que muitas vezes é ignorada — a próxima réplica do usuário. Quando o agente dá mais um passo, a pessoa reage: refina a tarefa, expressa insatisfação, confirma a resposta. Essa réplica não é apenas contexto para os próximos passos, mas um feedback local sobre o segmento de interação recém-executado.
Como o FACA funciona
O método FACA (Feedback-Aware Credit Assignment) transforma a réplica do usuário em um sinal de aprendizado completo. A ideia é associar cada reação a um segmento específico de ações do agente e, em seguida, calcular a vantagem local dessa reação — o quanto ela é melhor do que o esperado para aquele contexto. Essa vantagem é normalizada e adicionada à vantagem terminal padrão do resultado. Não é necessário nenhum crítico adicional nem novos rollouts — tudo é calculado com base nos dados já coletados.
Essa combinação dá ao agente tanto uma avaliação grosseira do resultado quanto sinais intermediários mais precisos. Um bônus adicional é que o método não complica a inferência: todo o sinal extra é extraído de diálogos já existentes, portanto é fácil aplicá-lo em sistemas reais.
Resultados dos experimentos
Os pesquisadores compararam o FACA com a abordagem Interactive GRPO, que considera apenas o resultado. O treinamento ocorreu nas mesmas condições: o mesmo simulador, o mesmo diálogo visível, a mesma inicialização e otimização. Em nove domínios da família τ, o FACA melhorou o resultado médio em 5,91 pontos percentuais para o modelo 8B e em 10,22 — para o modelo 14B. Cada métrica foi obtida em três execuções treinadas de forma independente.
O maior ganho veio no domínio Telecom. Um experimento adicional com randomização da polaridade das réplicas do usuário mostrou que, para o modelo 8B, esse ganho desaparece completamente. Isso confirma: o sinal carrega informação útil, não apenas adiciona ruído. No modo zero-shot nos benchmarks Pare-Bench e Co-Gym, os resultados mantêm a mesma ordem de grandeza.
Conclusões
O trabalho demonstra claramente que a próxima réplica do usuário é mais do que apenas contexto. Ela fornece um crédito local barato que melhora significativamente o aprendizado de agentes para interação de múltiplas etapas. O FACA oferece uma maneira simples e eficaz de extrair esse sinal sem uma reestruturação substancial do processo de treinamento. Como resultado, os agentes entendem melhor quais ações realmente os aproximam do objetivo e quais devem ser reconsideradas.
