As modelos de linguagem modernos estão cada vez mais sendo "pós-treinados" em tarefas onde a resposta pode ser verificada automaticamente: matemática, programação, lógica. Essa abordagem é chamada de RLVR — aprendizado por reforço com recompensas verificáveis. Entre os algoritmos para esse tipo de ajuste, o GRPO se destaca: é simples, não requer um modelo crítico separado e escala bem. No entanto, um preprint recente (arXiv:2605.12969) propõe uma visão contrastiva do GRPO e mostra que sua função objetivo está longe do ideal. Os autores — Feng Zhang e colaboradores — não apenas criticam a abordagem existente, mas também propõem uma alternativa chamada ConSPO.
Por que o GRPO se tornou o padrão de facto em RLVR
Métodos clássicos como o PPO primeiro treinam um crítico para avaliar a vantagem de cada ação. Em RLVR, essa crítica é frequentemente redundante: já temos um resultado verificável que divide as respostas entre corretas e incorretas. O GRPO usa isso diretamente. Para um único prompt, o modelo gera várias respostas — rollouts — e cada rollout recebe uma pontuação do verificador, enquanto a vantagem é calculada como a posição relativa dentro desse grupo. Esse esquema reduz os custos computacionais e simplifica o pós-treinamento, por isso é amplamente adotado na prática.
Mas, como mostram os autores, o GRPO também tem um lado oculto. Se observarmos a matemática do algoritmo, ele efetivamente treina o modelo para separar respostas "boas" e "ruins": maximiza-se a diferença esperada entre as pontuações dos rollouts positivos e negativos verificados. Essa é uma tarefa discriminativa clássica. É desse ponto de vista que se torna evidente por que o objetivo atual do GRPO não é ideal.
Duas limitações do GRPO que dificultam o aprendizado
Na reformulação contrastiva do GRPO, os pesquisadores destacam duas limitações sistêmicas embutidas na função objetivo.
Pontuações substitutas estão desalinhadas com a verossimilhança
O modelo gera respostas com base na probabilidade das sequências de tokens. Mas, ao atualizar a política, o GRPO não otimiza diretamente essas probabilidades, e sim uma função substituta baseada em razões limitadas (clipped ratios) — relações restritas entre a política nova e a antiga. Na prática, as "pontuações" para exemplos positivos e negativos não são as log-verossimilhanças verdadeiras das sequências, mas outras grandezas. Surge um desalinhamento: o objetivo que o algoritmo otimiza não coincide com o que realmente determina a geração. Isso pode levar a instabilidade ou uso subótimo dos dados.
O crédito não depende da dificuldade atual de separação
A segunda limitação diz respeito a como o GRPO distribui as atualizações entre os rollouts. O algoritmo não leva em conta o quanto os exemplos positivos e negativos diferem em pontuação em um dado momento. Se um "negativo" está muito próximo de um exemplo positivo e outro está distante, o GRPO os trata praticamente da mesma forma. Essa atribuição de crédito insensível às pontuações significa que o modelo não dá ênfase aos pares mais confusos, ainda mal separados. Como resultado, o treinamento pode literalmente "marcar passo" em exemplos fáceis, ignorando as dificuldades reais.
ConSPO: uma função objetivo contrastiva para a política
Para eliminar ambas as limitações, os autores propõem o método ConSPO — otimização contrastiva de política no nível de sequências. O nome diz tudo: o GRPO é reinterpretado como aprendizado contrastivo, mas com uma série de correções importantes.
Primeiro, o ConSPO retorna às pontuações normais: em vez de grandezas substitutas, são usadas as log-verossimilhanças das sequências, normalizadas pelo comprimento. Isso se alinha melhor com o processo de geração e elimina o problema das avaliações desalinhadas com a verossimilhança.
Segundo, o algoritmo contrasta explicitamente os rollouts positivos verificados com os "distratores" negativos dentro do mesmo grupo. A atualização da política é então guiada por uma função de grupo semelhante à InfoNCE — uma técnica padrão do aprendizado contrastivo. Essa função amplifica automaticamente o gradiente para os pares em que a resposta positiva ainda não está suficientemente separada da negativa, e os negativos com pontuação alta recebem mais atenção. Isso resolve o problema da distribuição insensível de crédito.
Terceiro, o ConSPO aplica uma margem com agendamento curricular (curriculum-scheduled margin). A margem que deve separar exemplos positivos e negativos é gradualmente endurecida à medida que o treinamento avança. Isso impede que o modelo se acomode: primeiro ele lida com diferenças fáceis e, em seguida, é forçado a refinar a separação até limites cada vez mais sutis.
Resultados e perspectivas
Os autores testaram o ConSPO em diversas condições e em benchmarks desafiadores de raciocínio. Os resultados mostram que o novo método supera consistentemente abordagens de base fortes. Este é um sinal importante para a comunidade: o objetivo habitual do GRPO pode ser melhorado se abordarmos o RLVR como uma tarefa de aprendizado contrastivo, e não apenas como a otimização de vantagens relativas.
É claro que um único preprint não encerra o assunto. Mas a perspectiva proposta oferece uma nova ferramenta de análise: em vez de tratar o GRPO como um dado, os pesquisadores agora podem decompô-lo em componentes contrastivos compreensíveis e melhorar cada um separadamente. Para os profissionais, isso significa que o arsenal de pós-treinamento ganha mais um método poderoso, especialmente valioso em tarefas onde o verificador fornece um sinal binário claro.
