Los modelos de lenguaje modernos se «refinan» cada vez más en tareas donde la respuesta se puede verificar automáticamente: matemáticas, programación, lógica. Este enfoque se denomina RLVR: aprendizaje por refuerzo con recompensas verificables. Entre los algoritmos para este ajuste destaca especialmente GRPO: es simple, no requiere un modelo crítico separado y escala bien. Sin embargo, un preprint reciente (arXiv:2605.12969) propone examinar GRPO desde una perspectiva contrastiva y muestra que su función objetivo dista de ser ideal. Los autores —Feng Zhang y coautores— no solo critican el enfoque existente, sino que también proponen una alternativa llamada ConSPO.
Por qué GRPO se convirtió en el estándar de facto de RLVR
Los métodos clásicos como PPO primero entrenan un crítico para evaluar la ventaja de cada acción. En RLVR, esa crítica suele ser redundante: ya tenemos un resultado verificable que divide las respuestas en correctas e incorrectas. GRPO utiliza esto directamente. Para un mismo prompt, el modelo genera varias respuestas —rollouts—; luego cada rollout recibe una puntuación del verificador, y la ventaja se calcula como la posición relativa dentro de ese grupo. Este esquema reduce los costos computacionales y simplifica el post-entrenamiento, por lo que se aplica con entusiasmo en la práctica.
Sin embargo, como muestran los autores, GRPO también tiene un lado oculto. Si observamos las matemáticas del algoritmo, este en realidad entrena al modelo para separar respuestas «buenas» y «malas»: se maximiza la brecha esperada entre las puntuaciones de los rollouts positivos y negativos verificados. Esta es una tarea discriminativa clásica. Es desde esta perspectiva que se hace evidente por qué el objetivo actual de GRPO no es ideal.
Dos limitaciones de GRPO que dificultan el aprendizaje
En la reformulación contrastiva de GRPO, los investigadores destacan dos limitaciones sistémicas integradas en la función objetivo.
Los puntajes sustitutos no están alineados con la verosimilitud
El modelo genera respuestas basándose en la probabilidad de las secuencias de tokens. Pero GRPO, al actualizar la política, no optimiza estas probabilidades directamente, sino una función sustituta basada en ratios recortados —relaciones limitadas entre la política nueva y la anterior—. De hecho, como «puntos» para los ejemplos positivos y negativos no se utilizan las log-verosimilitudes reales de las secuencias, sino otras magnitudes. Surge un desajuste: el objetivo que optimiza el algoritmo no coincide con lo que realmente determina la generación. Esto puede provocar inestabilidad o un uso subóptimo de los datos.
El crédito no depende de la dificultad actual de separación
La segunda limitación se refiere a cómo GRPO distribuye las actualizaciones entre los rollouts. El algoritmo no presta atención a cuánto difieren en puntuación los ejemplos positivos y negativos en un momento dado. Si un «negativo» está muy cerca de un ejemplo positivo y otro está lejos, GRPO los percibe casi de la misma manera. Esta asignación de crédito insensible a las puntuaciones significa que el modelo no pone énfasis en los pares más confusos, aún mal separados. Como resultado, el aprendizaje puede literalmente «estancarse» en ejemplos fáciles, ignorando las verdaderas dificultades.
ConSPO: una función objetivo contrastiva para la política
Para eliminar ambas limitaciones, los autores proponen el método ConSPO: optimización contrastiva de la política a nivel de secuencias. El nombre lo dice todo: GRPO se reinterpreta como aprendizaje contrastivo, pero con varias correcciones importantes.
En primer lugar, ConSPO vuelve a los puntajes normales: en lugar de magnitudes sustitutas, se utilizan log-verosimilitudes de secuencias normalizadas por longitud. Esto se alinea mejor con el proceso de generación y elimina el problema de las evaluaciones desalineadas con la verosimilitud.
En segundo lugar, el algoritmo contrapone explícitamente los rollouts positivos verificados a los «distractores» negativos dentro del mismo grupo. La actualización de la política se rige entonces por una función grupal similar a InfoNCE, un recurso estándar del aprendizaje contrastivo. Esta función amplifica automáticamente el gradiente para aquellos pares donde la respuesta positiva aún no está suficientemente separada de la negativa, y los negativos con puntuaciones altas reciben más atención. Así se resuelve el problema de la distribución de crédito insensible.
En tercer lugar, ConSPO aplica un margen con programación curricular. El margen que debe separar los ejemplos positivos y negativos se endurece gradualmente a medida que avanza el entrenamiento. Esto impide que el modelo se detenga en lo ya logrado: primero resuelve las diferencias fáciles y luego se ve obligado a refinar la separación hasta límites cada vez más sutiles.
Resultados y perspectivas
Los autores probaron ConSPO en diversas condiciones y en benchmarks complejos de razonamiento. Los resultados muestran que el nuevo método supera consistentemente a los enfoques base sólidos. Esta es una señal importante para la comunidad: el objetivo habitual de GRPO puede mejorarse si se aborda RLVR como una tarea de aprendizaje contrastivo, y no solo como una optimización de ventajas relativas.
Por supuesto, un solo preprint no cierra el tema. Pero la perspectiva propuesta ofrece una herramienta nueva para el análisis: en lugar de aceptar GRPO como un hecho dado, los investigadores ahora pueden descomponerlo en componentes contrastivos comprensibles y mejorar cada uno por separado. Para los profesionales, esto significa que en el arsenal del post-entrenamiento aparece otro método sólido, especialmente valioso en tareas donde el verificador proporciona una señal binaria clara.
