Por qué el RL se topa con las etiquetas
El aprendizaje por refuerzo (RL) se considera hoy uno de los métodos más prometedores para mejorar el razonamiento de los modelos de lenguaje y de los modelos visuales y de lenguaje. La lógica es simple: el modelo prueba diferentes estrategias, recibe una recompensa por las acciones correctas y, gradualmente, aprende a razonar mejor. Pero hay un inconveniente: para que la recompensa sea significativa, normalmente se necesitan señales externas precisas: respuestas verificables, soluciones de referencia, cadenas de razonamiento etiquetadas. Todo esto es costoso de preparar y, para muchas tareas, estos datos son cada vez más escasos.
El enfoque self-rewarding resuelve parcialmente el problema, cuando el modelo evalúa sus propias respuestas y, con base en ello, ajusta su comportamiento. Sin embargo, aquí surge un círculo vicioso: si el modelo ya tiene sesgos o está acostumbrado a responder de forma subóptima, reforzará esos mismos errores. El aprendizaje basado en la propia retroalimentación conduce rápidamente a la monotonía: las respuestas se vuelven similares entre sí, la diversidad disminuye y, en el peor de los casos, se produce un colapso: el modelo se queda atrapado en un conjunto limitado de patrones y deja de evolucionar.
Cómo funciona Co-RL
Los autores del preprint arXiv:2608.17253 proponen el marco Co-RL, que rompe este círculo vicioso. En lugar de un único modelo que aprende de sus propias evaluaciones, Co-RL entrena simultáneamente varios modelos completamente independientes — no comparten parámetros comunes ni observan los pesos de los demás. Cada modelo recibe recompensas no de sí mismo, sino de otros participantes de la cohorte (peers). En esencia, los modelos razonan, critican y se evalúan mutuamente, y es precisamente sobre la base de estas evaluaciones «externas» que se construye el aprendizaje.
Este intercambio de retroalimentación cambia fundamentalmente la dinámica. Los errores de diferentes modelos rara vez coinciden por completo: cada uno tiene sus propias debilidades, sus propios patrones de pensamiento y sus propios sesgos. Por lo tanto, cuando un modelo evalúa la respuesta de otro, la probabilidad de que «confirme» el error sistemático ajeno es significativamente menor. Esto permite evitar los bucles de retroalimentación que se auto-refuerzan y que rompen el enfoque self-rewarding.
La diversidad como ingrediente principal
La idea clave de Co-RL es que el éxito depende directamente de la diversidad de la cohorte. Si todos los modelos son iguales, simplemente se pondrán de acuerdo entre sí y no se obtendrá ninguna ventaja. Por eso, los autores proponen tres niveles de heterogeneidad:
- Diferentes familias de modelos — por ejemplo, combinar arquitecturas de distintos proveedores para que no hereden errores comunes.
- Diferentes tamaños — los modelos grandes y compactos ven la tarea de manera distinta, y sus evaluaciones se complementan mutuamente.
- Muestras de entrenamiento reformuladas — los mismos ejemplos se presentan con formulaciones diferentes, lo que reduce la correlación de errores causados por el mismo planteamiento de la tarea.
Esta heterogeneidad de la cohorte reduce los errores correlacionados, que son peligrosos porque se acumulan de iteración en iteración. Al mismo tiempo, se preserva la diversidad conductual: los modelos no colapsan hacia un único estilo de razonamiento, sino que continúan explorando diferentes enfoques.
Qué mostraron los experimentos
Los autores probaron Co-RL en tareas textuales y multimodales, comparándolo con modelos base y enfoques label-free sin acceso a etiquetas ground-truth. En siete benchmarks textuales para LLM, la mejora media fue de 3,0–8,6%, y en cuatro benchmarks multimodales para VLM, de 2,3–7,2%. Además, Co-RL no solo supera a métodos similares sin etiquetas, sino que en varios casos se compara con el aprendizaje supervisado o incluso lo supera — aunque no necesita datos etiquetados en absoluto.
Esta es una señal importante para la industria: quizás el futuro no está en la recopilación interminable de anotaciones costosas, sino en una interacción bien organizada entre modelos. Cuantos más agentes participen en la evaluación mutua y más se diferencien entre sí, más robusto y de mayor calidad será el aprendizaje.
Conclusiones prácticas
Co-RL parece un paso convincente hacia sistemas verdaderamente autodidactas. No requiere etiquetado, no se agota con su propia retroalimentación y, al mismo tiempo, mantiene una alta calidad de razonamiento. Los desarrolladores señalan que el código del marco está disponible para la comunidad — lo que significa que el enfoque se puede reproducir y adaptar a las propias tareas hoy mismo.
Por supuesto, quedan preguntas: por ejemplo, cómo seleccionar de manera óptima la composición de la cohorte para una tarea específica y si no es demasiado costoso entrenar varios modelos a la vez. Pero la idea en sí — entrenar modelos no en solitario, sino en colectivo, donde cada uno evalúa a los demás — abre una dirección interesante para la investigación. Quizás sean precisamente estos mecanismos los que nos acercan a sistemas que aprenden a razonar con la misma naturalidad con la que las personas intercambian experiencias entre sí.
