De qué trata este artículo
Cuando un modelo de lenguaje grande resuelve una tarea lógica o matemática compleja, el proceso de generación no es simplemente una salida secuencial de tokens. Cada paso se apoya en un estado interno en el que el modelo mantiene la condición, los resultados intermedios y las conexiones entre ellos. Los LLM de razonamiento potente utilizan este espacio de manera eficiente, pero incluso ellos sufren fallos. A menudo, el problema no está relacionado con la falta de conocimiento, sino con que los mecanismos cognitivos necesarios —la autoverificación, la reformulación de la tarea, el retorno a conclusiones anteriores— no se activan a tiempo.
Una nueva investigación, cuya primera versión apareció en arXiv en mayo de 2026 y la final en agosto, fue aceptada en la conferencia EMNLP 2026. Los autores presentaron el marco Latent Reward Steering (LRS). Es un método adaptativo de tiempo de inferencia: no cambia el texto de la consulta ni le añade instrucciones, sino que actúa sobre las representaciones internas del modelo. En esencia, el sistema aprende a «reparar» el curso del razonamiento en el momento en que ve que se ha desviado.
Por qué las indicaciones conductuales no son suficientes
La forma más común de mejorar el razonamiento de los LLM es pedirles explícitamente que se comporten de una manera determinada: «divide la tarea en pasos», «compruébate a ti mismo», «primero piensa, luego responde». Estas técnicas controlan el comportamiento a nivel externo y textual. Asumen que existe un escenario universal que es igualmente útil para todos los errores. Pero en la práctica, los fallos son completamente diferentes: el modelo puede entender mal la condición, perder un detalle importante, elegir un método inadecuado o equivocarse en los cálculos en el último paso.
Además, diferentes modelos —e incluso un mismo modelo en diferentes intentos— se equivocan de maneras distintas. Una indicación predefinida no tiene en cuenta ni el tipo de tarea, ni el estado actual del razonamiento, ni las particularidades del LLM concreto. En algunos casos ayuda, en otros resulta inútil y, a veces, incluso perjudicial, porque obliga al modelo a seguir mecánicamente una plantilla en lugar de adaptarse al curso real del pensamiento.
Cómo corrige LRS el curso del razonamiento
En lugar de dar recomendaciones textuales al modelo, LRS trabaja a nivel de los estados ocultos que el modelo genera durante el razonamiento. Estos estados no solo contienen el contenido de los pasos, sino también señales sutiles sobre lo segura que está la modelo de avanzar hacia la respuesta. Para hacer que estas señales sean accesibles para el control, se utiliza un autoencoder disperso.
El SAE descompone las activaciones densas del modelo en un pequeño número de componentes interpretables. Parte de estos componentes corresponden a comportamientos cognitivos útiles, como la verificación intermedia o la revisión de la conclusión. Es precisamente sobre ellos sobre los que se dirige la acción de LRS. Este enfoque permite influir en el «pensamiento» del modelo con mayor precisión de lo que es posible con instrucciones verbales.
Entrenamiento del modelo de recompensa latente
Para distinguir los estados internos exitosos de los fallidos, los autores entrenan un modelo de recompensa separado. Este recibe como entrada no la respuesta final, sino los estados latentes intermedios, y evalúa en qué medida acercan al modelo al resultado correcto. Como datos de entrenamiento se utilizan trazas completas de razonamiento, etiquetadas según la corrección de la respuesta. Así, el modelo de recompensa aprende a predecir de antemano si el tramo actual del camino conducirá al éxito.
Corrección mediante el gradiente de la recompensa
Cuando durante la generación LRS detecta un estado que parece poco prometedor, calcula el gradiente de la señal de recompensa con respecto a los componentes de ese estado. El gradiente indica la dirección en la que se debe desplazar el estado latente para aumentar la probabilidad de una continuación correcta. La característica clave de LRS es que esta dirección no está predefinida ni se deriva de «reglas fijas de buen razonamiento». Se calcula sobre la marcha para cada estado concreto, por lo que el método se adapta al modelo, a la tarea y a la especificidad del error actual.
Compuerta de recompensa y confianza
Intervenir en cada paso sería demasiado arriesgado: una influencia externa constante podría alterar la generación natural. Por eso, LRS utiliza una compuerta de recompensa y confianza. Solo permite la corrección para aquellos estados que la señal de recompensa marca como frágiles. Si el estado actual se evalúa como seguro, no se produce intervención. Este enfoque selectivo reduce los efectos secundarios y preserva la naturalidad del razonamiento cuando el modelo ya se las arregla por sí mismo.
Qué mostraron los experimentos
Los autores probaron LRS en varios LLM de razonamiento utilizados como base y en un conjunto de puntos de referencia estándar. El método se comparó con diversos enfoques base, y en la mayoría de las configuraciones LRS proporcionó una mejora constante de la precisión. Es importante que el efecto positivo no fuera un caso aislado: se reprodujo al cambiar tanto el modelo como el tipo de tareas.
El análisis post-hoc de los resultados mostró que las mejoras no se reducen a un simple «alargamiento» de las respuestas o a un cambio de estilo de generación. Los investigadores descubrieron que LRS fomenta implícitamente aquellos comportamientos cognitivos que normalmente se intentan provocar con indicaciones textuales. El modelo vuelve con más frecuencia a conclusiones intermedias erróneas, analiza las condiciones con más cuidado y demuestra un curso de razonamiento más coherente. Es decir, el método funciona realmente a través de los estados internos, no mediante plantillas externas.
Por qué es importante
LRS es interesante no solo por los resultados concretos, sino también por el cambio en el propio principio de control del razonamiento. En lugar de buscar la formulación perfecta de la indicación, los investigadores proponen aprender a «corregir» suavemente el modelo en el espacio de sus propias representaciones. Este enfoque es potencialmente más universal: no requiere describir de antemano todos los escenarios cognitivos posibles y encuentra por sí mismo qué aspecto del pensamiento necesita corrección en cada momento.
Por ahora, LRS es un marco de investigación, no un producto listo para usar. Los autores han abierto el código para que otros equipos puedan reproducir los experimentos y adaptar el método a sus propias tareas. Pero la dirección ya está clara: el control del razonamiento de los LLM está pasando gradualmente del nivel de las palabras al nivel de los mecanismos ocultos que determinan cómo piensa exactamente el modelo, y no solo qué dice.
