Les modèles de langage modernes sont de plus en plus souvent « ré-entraînés » sur des tâches où la réponse peut être vérifiée automatiquement : mathématiques, programmation, logique. Cette approche est appelée RLVR — apprentissage par renforcement sur des récompenses vérifiables. Parmi les algorithmes pour un tel réglage, GRPO se distingue particulièrement : il est simple, ne nécessite pas de modèle critique séparé et se scale bien. Cependant, un récent preprint (arXiv:2605.12969) propose d'examiner GRPO sous un angle contrastif et montre que sa fonction objectif est loin d'être idéale. Les auteurs — Feng Zhang et ses co-auteurs — ne se contentent pas de critiquer l'approche existante, mais proposent également une alternative nommée ConSPO.
Pourquoi GRPO est devenu le standard de facto du RLVR
Les méthodes classiques comme PPO entraînent d'abord un critique pour estimer l'avantage de chaque action. Dans le RLVR, un tel critique est souvent redondant : nous avons déjà un résultat vérifiable qui divise les réponses en correctes et incorrectes. GRPO utilise cela directement. Pour un même prompt, le modèle génère plusieurs variantes de réponse — des rollouts — puis chaque rollout reçoit un score du vérificateur, et l'avantage est calculé comme une position relative au sein de ce groupe. Ce schéma réduit les coûts de calcul et simplifie le post-entraînement, c'est pourquoi il est volontiers appliqué en pratique.
Mais, comme le montrent les auteurs, GRPO a aussi un côté caché. Si l'on examine les mathématiques de l'algorithme, il entraîne en réalité le modèle à séparer les réponses « bonnes » et « mauvaises » : l'écart attendu entre les scores des rollouts positifs et négatifs vérifiés est maximisé. C'est une tâche discriminative classique. C'est de ce point de vue que l'on voit pourquoi l'objectif actuel de GRPO n'est pas idéal.
Deux limites de GRPO qui entravent l'apprentissage
Dans la reformulation contrastive de GRPO, les chercheurs identifient deux limites systémiques intégrées dans la fonction objectif.
Les scores de substitution sont désalignés avec la vraisemblance
Le modèle génère des réponses en s'appuyant sur la probabilité des séquences de tokens. Mais GRPO, lors de la mise à jour de la politique, n'optimise pas ces probabilités directement, mais une fonction de substitution basée sur des ratios plafonnés — des rapports limités entre la nouvelle et l'ancienne politique. En réalité, ce ne sont pas les vraies log-probabilités des séquences qui sont utilisées comme « points » pour les exemples positifs et négatifs, mais d'autres quantités. Un désalignement apparaît : l'objectif optimisé par l'algorithme ne correspond pas à ce qui détermine réellement la génération. Cela peut entraîner une instabilité ou une utilisation sous-optimale des données.
Le crédit ne dépend pas de la difficulté actuelle de séparation
La deuxième limite concerne la manière dont GRPO distribue les mises à jour entre les rollouts. L'algorithme ne prête pas attention à la mesure dans laquelle les exemples positifs et négatifs diffèrent en scores à un moment donné. Si un « négatif » est très proche d'un exemple positif, tandis qu'un autre en est éloigné, GRPO les perçoit presque de la même manière. Cette attribution de crédit insensible aux scores signifie que le modèle ne met pas l'accent sur les paires les plus confuses, encore mal séparées. En conséquence, l'apprentissage peut littéralement « piétiner » sur des exemples faciles, ignorant les vraies difficultés.
ConSPO : une fonction objectif contrastive pour la politique
Pour éliminer ces deux limites, les auteurs proposent la méthode ConSPO — une optimisation contrastive de la politique au niveau des séquences. Le nom parle de lui-même : GRPO est repensé comme un apprentissage contrastif, mais avec plusieurs corrections importantes.
Premièrement, ConSPO revient à des scores normaux : au lieu de quantités de substitution, ce sont les log-probabilités des séquences, normalisées par la longueur, qui sont utilisées. Cela correspond mieux au processus de génération et élimine le problème des scores désalignés avec la vraisemblance.
Deuxièmement, l'algorithme oppose explicitement les rollouts positifs vérifiés aux « distracteurs » négatifs au sein d'un même groupe. La mise à jour de la politique est alors régie par une fonction de groupe, similaire à InfoNCE — une technique standard de l'apprentissage contrastif. Une telle fonction amplifie automatiquement le gradient pour les paires où la réponse positive n'est pas encore suffisamment séparée de la négative, et les négatifs à haut score reçoivent plus d'attention. Cela résout le problème de la distribution de crédit insensible.
Troisièmement, ConSPO applique une marge planifiée par curriculum. La marge qui doit séparer les exemples positifs et négatifs se resserre progressivement au fur et à mesure de l'apprentissage. Cela empêche le modèle de s'arrêter sur ses acquis : il traite d'abord les différences faciles, puis est contraint d'affiner la séparation jusqu'à des frontières de plus en plus subtiles.
Résultats et perspectives
Les auteurs ont testé ConSPO dans diverses conditions et sur des benchmarks de raisonnement complexes. Les résultats montrent que la nouvelle méthode surpasse systématiquement les approches de base solides. C'est un signal important pour la communauté : l'objectif habituel de GRPO peut être amélioré si l'on aborde le RLVR comme une tâche d'apprentissage contrastif, et non simplement comme une optimisation d'avantages relatifs.
Bien sûr, un seul preprint ne clôt pas le sujet. Mais le point de vue proposé offre un nouvel outil d'analyse : au lieu de considérer GRPO comme une donnée acquise, les chercheurs peuvent désormais le décomposer en composants contrastifs compréhensibles et améliorer chacun d'eux séparément. Pour les praticiens, cela signifie qu'un autre algorithme puissant fait son entrée dans l'arsenal du post-entraînement, particulièrement précieux pour les tâches où le vérificateur fournit un signal binaire clair.
