Los agentes de IA modernos trabajan cada vez más en modo conversacional: el usuario plantea una tarea, el agente recurre a herramientas, devuelve un resultado y la persona matiza o corrige la solicitud. Esta interacción de múltiples pasos es difícil de evaluar porque al final solo existe el resultado final. Este no muestra qué acciones del agente realmente ayudaron y cuáles resultaron superfluas.
Por qué un único resultado no basta
En el aprendizaje por refuerzo para estos agentes se suele utilizar el rollout: el agente ejecuta una serie de acciones y recibe una recompensa por el resultado final. Este enfoque es práctico, pero bastante tosco. Una buena matización de la solicitud, un error evidente y su posterior corrección reciben el mismo crédito, aunque su contribución al resultado sea completamente distinta. Por ello, el agente aprende más lentamente y no siempre comprende qué acción concreta condujo al éxito.
Los autores de la nueva investigación señalan una valiosa fuente de señal que a menudo se ignora: la siguiente réplica del usuario. Cuando el agente da un paso más, la persona reacciona: matiza la tarea, expresa descontento, confirma la respuesta. Esa réplica no es solo contexto para los pasos siguientes, sino una retroalimentación local sobre el segmento de interacción recién completado.
Cómo funciona FACA
El método FACA (Feedback-Aware Credit Assignment) convierte la réplica del usuario en una señal de aprendizaje plenamente válida. La idea es asociar cada reacción con un segmento concreto de las acciones del agente y, a continuación, calcular la ventaja local de esa reacción: en qué medida es mejor que lo esperado para ese contexto. Esa ventaja se normaliza y se suma a la ventaja terminal estándar del resultado. No se necesita ni un crítico adicional ni nuevos rollouts: todo se calcula con los datos ya recopilados.
Esta combinación proporciona al agente tanto una estimación gruesa del resultado como señales intermedias más precisas. Un bonus adicional es que el método no complica la inferencia: toda la señal adicional se extrae de diálogos ya existentes, por lo que resulta fácil aplicarlo en sistemas reales.
Resultados de los experimentos
Los investigadores compararon FACA con el enfoque Interactive GRPO, que solo tiene en cuenta el resultado. El entrenamiento se realizó en condiciones idénticas: el mismo simulador, el mismo diálogo visible, la misma inicialización y optimización. En nueve dominios de la familia τ, FACA mejoró el resultado medio en 5,91 puntos porcentuales para el modelo de 8B y en 10,22 para el de 14B. Cada métrica se obtuvo con tres ejecuciones entrenadas de forma independiente.
La mayor mejora se produjo en el dominio Telecom. Un experimento adicional con aleatorización de la polaridad de las réplicas del usuario mostró que, para el modelo de 8B, esa mejora desaparece por completo. Esto confirma que la señal aporta información útil y no solo añade ruido. En modo zero-shot en los benchmarks Pare-Bench y Co-Gym, los resultados mantienen el mismo orden.
Conclusiones
El trabajo demuestra claramente que la siguiente réplica del usuario es algo más que un simple contexto. Aporta un crédito local económico que mejora notablemente el entrenamiento de agentes para la interacción de múltiples turnos. FACA ofrece una forma sencilla y eficaz de extraer esa señal sin reestructurar sustancialmente el proceso de aprendizaje. Como resultado, los agentes comprenden mejor qué acciones los acercan realmente a su objetivo y cuáles conviene replantear.
