Qué y por qué evalúa FinSkillBench
Al comparar agentes de IA para la gestión de inversiones, es fácil dejarse llevar por la elección del modelo de lenguaje: más parámetros, arquitectura más nueva, mejor resultado en pruebas convencionales. Pero FinSkillBench propone mirar el problema desde otro ángulo: hasta qué punto el agente sabe utilizar habilidades procedimentales financieras — instrucciones paso a paso y componentes ejecutables que convierten el conocimiento en acción.
El benchmark abarca tres áreas clave del trabajo de inversión:
- construcción de carteras
- gestión de riesgos
- análisis fundamental
Dentro de estas áreas, los autores reunieron 12 subtareas y 2603 episodios. Cada episodio es una tarea con datos de un momento concreto, una respuesta correcta oculta y un enunciado que el agente debe convertir en acción. Es decir, no se pone a prueba la memoria del modelo, sino su capacidad para aplicar el procedimiento adecuado en el momento adecuado.
Tres modos de funcionamiento del agente
Para entender qué aporta exactamente la habilidad, los autores compararon tres variantes de comportamiento del agente.
- Sin habilidades. El modelo resuelve la tarea con conocimiento «puro», sin pistas externas sobre cómo actuar.
- Con habilidades curadas. El agente recibe un conjunto de documentos procedimentales y componentes ejecutables seleccionados por expertos. En la práctica, es una biblioteca de acciones lista para usar: reglas, fórmulas, algoritmos.
- Con habilidades autogeneradas. El agente escribe sus propios procedimientos sobre la marcha e intenta utilizarlos más adelante dentro del mismo episodio.
La cuestión clave era si los procedimientos bien preparados compensan las limitaciones del modelo — o si un modelo inteligente es capaz de arreglárselas por sí solo.
Los resultados fueron reveladores. En nueve modelos, la incorporación de habilidades curadas mejoró de forma constante las puntuaciones finales: el resultado medio pasó de 0.366 a 0.528. El efecto se manifestó con mayor fuerza en la construcción de carteras y la gestión de riesgos — allí donde importan la secuencia de acciones y las reglas explícitas.
La autogeneración apenas ayuda
La intuición sugiere: dé al modelo la posibilidad de crear sus propios procedimientos y se adaptará mejor a la tarea que con plantillas ajenas. En el experimento esto no se confirmó. Las habilidades autogeneradas solo aportaron una mejora insignificante, pero exigieron notablemente más recursos computacionales. El agente dedicaba tiempo a crear y reescribir procedimientos, pero el resultado apenas cambiaba.
La autogeneración ingenua se parece a reinventar la rueda en cada tarea: es costosa y sin garantía de calidad. Una habilidad procedimental lista y probada resulta más fiable que el intento del modelo de deducir el método desde cero cada vez.
Reproducibilidad en otro framework
Cualquier benchmark se puede «ajustar» a un entorno concreto. Por eso los autores ejecutaron además la evaluación en un framework de agentes independiente Hermes Agent: 8 modelos, 5280 episodios, las mismas tres áreas. La pauta general se confirmó: las habilidades preparadas mejoran el trabajo de los agentes en todas las direcciones.
Eso sí, la magnitud del efecto no fue uniforme: dependía tanto de la subtarea como de cómo está organizado el «pipeline» del agente. Esta es una salvedad importante: las habilidades no son un botón mágico, pero sí aportan una ventaja sistemática.
Conclusión para quienes construyen agentes de inversión
La principal lección práctica del estudio: en la gestión de inversiones, el acceso a habilidades procedimentales fiables puede ser tan importante como la elección del modelo base. Si el agente tiene un procedimiento claro y sabe seguirlo, a menudo rinde mejor que un modelo más potente que actúa a ciegas.
Para los equipos de producto, esto significa que no conviene invertir todos los esfuerzos solo en la selección del modelo. Merece la pena dedicar atención a formar una biblioteca de procedimientos financieros probados: cómo recalcular las proporciones de la cartera, cómo tener en cuenta el factor de riesgo, cómo analizar los informes. Los autores subrayan por separado: los procedimientos deben ser curados, no creados por el agente sobre la marcha.
Un detalle final: los autores abrieron tanto el propio benchmark como las herramientas de evaluación, los paquetes de habilidades curadas y las trayectorias completas de acción de los agentes. Esto permite reproducir los resultados y desarrollar sistemas de agentes propios sin tener que montarlo todo desde cero.
