O problema: por que RL esbarra nos rótulos
O aprendizado por reforço (RL) é considerado hoje uma das formas mais promissoras de melhorar o raciocínio de modelos de linguagem e modelos visuais-linguísticos. A lógica é simples: o modelo experimenta diferentes estratégias, recebe uma recompensa por ações corretas e gradualmente aprende a raciocinar melhor. Mas há um problema — para que a recompensa seja significativa, geralmente são necessários sinais precisos externos: respostas verificáveis, soluções de referência, cadeias de raciocínio rotuladas. Tudo isso é caro de preparar, e para muitas tarefas esses dados estão se tornando cada vez mais escassos.
Parcialmente, o problema é resolvido pela abordagem self-rewarding, quando o próprio modelo avalia suas respostas e, com base nisso, ajusta seu comportamento. No entanto, aqui surge um círculo vicioso: se o modelo já tem vieses ou se acostumou a responder de forma subótima, ele reforçará esses mesmos erros. O aprendizado com o próprio feedback rapidamente leva à uniformidade: as respostas se tornam semelhantes entre si, a diversidade cai e, no pior caso, ocorre o colapso — o modelo fica preso em um conjunto estreito de padrões e para de evoluir.
Como o Co-RL funciona
Os autores do preprint arXiv:2608.17253 propõem o framework Co-RL, que rompe esse círculo vicioso. Em vez de um único modelo que aprende com suas próprias avaliações, o Co-RL treina simultaneamente vários modelos totalmente independentes — eles não compartilham parâmetros comuns nem observam os pesos uns dos outros. Cada modelo recebe recompensas não de si mesmo, mas de outros participantes da coorte (peers). Em essência, os modelos raciocinam, criticam e avaliam uns aos outros, e é com base nessas avaliações "externas" que o aprendizado é construído.
Essa troca de feedback muda fundamentalmente a dinâmica. Os erros de modelos diferentes raramente coincidem completamente — cada um tem seus próprios pontos fracos, seus próprios padrões de pensamento e seus próprios preconceitos. Portanto, quando um modelo avalia a resposta de outro, a probabilidade de ele "confirmar" o erro sistêmico alheio é significativamente menor. Isso permite evitar os loops de feedback auto-reforçadores que quebram a abordagem self-rewarding.
A diversidade como principal ingrediente
A ideia central do Co-RL é que o sucesso depende diretamente da diversidade da coorte. Se todos os modelos forem idênticos, eles simplesmente concordarão uns com os outros e nenhuma vantagem será obtida. Por isso, os autores propõem três níveis de heterogeneidade:
- Diferentes famílias de modelos — por exemplo, combinar arquiteturas de diferentes fabricantes para que não herdem erros comuns.
- Diferentes tamanhos — modelos grandes e compactos enxergam a tarefa de maneiras diferentes, e suas avaliações se complementam mutuamente.
- Amostras de treinamento reformuladas — os mesmos exemplos são apresentados com formulações diferentes, o que reduz a correlação de erros causados pela mesma formulação da tarefa.
Essa heterogeneidade da coorte reduz os erros correlacionados, que são perigosos porque se acumulam de iteração em iteração. Ao mesmo tempo, a diversidade comportamental é preservada — os modelos não colapsam em um único estilo de raciocínio, mas continuam explorando diferentes abordagens.
O que os experimentos mostraram
Os autores testaram o Co-RL em tarefas textuais e multimodais, comparando-o com modelos de base e abordagens label-free sem acesso a rótulos ground-truth. Em sete benchmarks textuais para LLM, o ganho médio foi de 3,0–8,6%, e em quatro benchmarks multimodais para VLM — 2,3–7,2%. Além disso, o Co-RL não apenas supera métodos similares sem rótulos, mas em vários casos se compara ao aprendizado supervisionado ou até o supera — embora não exija dados rotulados de forma alguma.
Este é um sinal importante para a indústria: talvez o futuro não esteja na coleta infinita de anotações caras, mas na interação bem organizada entre modelos. Quanto mais agentes participam da avaliação uns dos outros e quanto mais diferentes eles são, mais estável e qualitativo se torna o aprendizado.
Conclusões práticas
O Co-RL parece um passo convincente em direção a sistemas verdadeiramente autodidatas. Ele não exige rotulagem, não se esgota com o próprio feedback e mantém alta qualidade de raciocínio. Os desenvolvedores destacam que o código do framework está disponível para a comunidade — ou seja, a abordagem pode ser reproduzida e adaptada às suas próprias tarefas já hoje.
Claro, ainda restam questões: por exemplo, como selecionar idealmente a composição da coorte para uma tarefa específica e se não é caro demais treinar vários modelos ao mesmo tempo. Mas a própria ideia — treinar modelos não individualmente, mas em coletivo, onde cada um avalia os outros — abre uma direção interessante para pesquisas. Talvez sejam exatamente esses mecanismos que nos aproximam de sistemas que aprendem a raciocinar tão naturalmente quanto os humanos absorvem a experiência uns dos outros.
