En un reciente preprint de arXiv:2608.17542, presentado el 18 de agosto de 2026, Jack Boylan y Chris Hokamp proponen una forma poco convencional de combatir el colapso en los modelos mundiales JEPA. En lugar de imponer una forma predeterminada al espacio latente, extraen una señal contra la degeneración de los propios datos de transición. El método se denomina AC-MTM — Action-Contrastive Masked Transition Modeling — y, según los experimentos, funciona de manera especialmente convincente en entornos visuales complejos.
Por qué colapsan los modelos JEPA
El enfoque JEPA (Joint Embedding Predictive Architecture) se basa en predecir embeddings futuros, no píxeles. Esto es conveniente, pero dicha función objetivo tiene una solución trivial: el codificador puede fijarse en una constante y producir la misma representación para cualquier entrada. Entonces el error de predicción se vuelve cero y no se produce ningún aprendizaje de relaciones mundiales. Por eso todas las implementaciones prácticas de JEPA añaden mecanismos adicionales contra el colapso, desde regularizadores hasta restricciones arquitectónicas.
Una técnica común es la regularización de la distribución latente. Por ejemplo, el modelo LeWorldModel (LeWM) utiliza SIGReg, un regularizador que obliga a las representaciones a parecerse a ruido gaussiano isotrópico. Esto estabiliza el entrenamiento, pero a costa de una suposición rígida: el espacio latente debe ajustarse a una distribución determinada, no relacionada con la dinámica del entorno. Los autores del nuevo trabajo afirman que la presión que impide el colapso puede provenir no del exterior, sino de las propias transiciones entre estados.
Dinámica inversa contrastiva en lugar de restricciones gaussianas
AC-MTM mantiene el objetivo directo de predicción latente, como en LeWM, pero añade una cabeza auxiliar de dinámica inversa. Esta cabeza existe solo durante el entrenamiento y resuelve una tarea discriminativa: dado un par de estados latentes, debe determinar qué acción concreta llevó al modelo del primero al segundo. La función de pérdida Action-NCE obliga a cada transición latente a identificar la acción que la originó entre todas las acciones del lote.
Este planteamiento no requiere red objetivo, ni stop-gradient, ni codificador preentrenado, ni reconstrucción. Lo principal es que un codificador colapsado, que produce representaciones idénticas para todos los estados, es físicamente incapaz de distinguir una acción de otra. Por tanto, la tarea de dinámica inversa se vuelve irresoluble, y esto proporciona una señal demostrable contra la degeneración. La presión surge de la estructura de los datos, no de una prescripción artificial.
Tras completar el entrenamiento, la rama de dinámica inversa simplemente se descarta. En tiempo de prueba, la codificación, la predicción directa, la planificación y los costes computacionales permanecen idénticos a LeWM, sin carga adicional en la inferencia.
Qué mostraron los experimentos
El método se probó en cuatro tareas estándar de pixel-control con un protocolo de planificación consistente. AC-MTM se entrena de forma estable desde cero y, en promedio, muestra resultados comparables a SIGReg. Es decir, renunciar al regularizador gaussiano no conlleva una pérdida de calidad en entornos simples.
El panorama es más interesante en el complejo benchmark OGBench Visual Scene. Allí, AC-MTM alcanza un 80,0±2,0% de éxito, mientras que SIGReg logra solo un 58,0±2,0%. La mejora es de 20 a 24 puntos porcentuales en cada semilla de entrenamiento. Para dimensionar la magnitud: una ejecución de política aleatoria de 50 episodios da un nivel base del 52%, por lo que la diferencia entre métodos es realmente significativa.
Además, la dinámica inversa contrastiva no se apoya en supuestos distribucionales. Los autores caracterizan las suposiciones sobre el espacio de acciones y la observabilidad bajo las cuales funciona el método, pero estas condiciones son notablemente más flexibles que el requisito de gaussianidad.
Implicaciones prácticas
La conclusión principal del trabajo: para evitar el colapso, no es necesario decidir de antemano cómo deben verse las representaciones. Basta con plantear una tarea que un codificador degenerado esté garantizado a fallar. Este enfoque resulta no solo más fundamentado, sino que también ofrece mejores resultados en tareas visuales complejas, donde las restricciones gaussianas de SIGReg obstaculizan el aprendizaje.
El código está publicado, por lo que los resultados son fáciles de reproducir y adaptar a tus propios proyectos. Para todos los que construyen modelos mundiales basados en ideas JEPA, AC-MTM es una opción práctica: sin costes adicionales en inferencia, sin redes objetivo ni stop-gradient, y con una fuente más natural de señal de entrenamiento.
