Dalam pracetak arXiv:2608.17542 terbaru, yang diajukan pada 18 Agustus 2026, Jack Boylan dan Chris Hokamp mengusulkan cara yang tidak lazim untuk mengatasi kolaps dalam model dunia JEPA. Alih-alih memaksakan bentuk yang telah ditentukan sebelumnya pada ruang laten, mereka mengekstrak sinyal melawan degenerasi dari data transisi itu sendiri. Metode ini diberi nama AC-MTM — Action-Contrastive Masked Transition Modeling — dan, berdasarkan eksperimen, metode ini bekerja sangat meyakinkan pada lingkungan visual yang kompleks.
Mengapa Model JEPA Mengalami Kolaps
Pendekatan JEPA (Joint Embedding Predictive Architecture) dibangun di sekitar prediksi embedding masa depan, bukan piksel. Ini praktis, tetapi fungsi tujuan semacam itu memiliki solusi trivial: encoder dapat terkunci pada konstanta dan menghasilkan representasi yang sama untuk input apa pun. Dengan demikian, kesalahan prediksi menjadi nol, dan tidak ada pembelajaran hubungan dunia yang terjadi. Inilah sebabnya semua implementasi praktis JEPA menambahkan mekanisme tambahan untuk mencegah kolaps — mulai dari regularisasi hingga batasan arsitektural.
Salah satu teknik yang umum adalah regularisasi distribusi laten. Misalnya, model LeWorldModel (LeWM) menggunakan SIGReg — sebuah regularisasi yang memaksa representasi terlihat seperti noise Gaussian isotropik. Ini menstabilkan pelatihan, tetapi dengan mengorbankan asumsi yang kaku: ruang laten harus sesuai dengan distribusi tertentu yang tidak terkait dengan dinamika lingkungan. Para penulis karya baru ini berpendapat bahwa tekanan yang mencegah kolaps dapat datang bukan dari luar, melainkan dari transisi antar keadaan itu sendiri.
Dinamika Terbalik Kontrastif sebagai Pengganti Belenggu Gaussian
AC-MTM mempertahankan tujuan langsung prediksi laten, seperti pada LeWM, tetapi menambahkan kepala dinamika terbalik tambahan. Kepala ini hanya ada selama pelatihan dan menyelesaikan tugas diskriminatif: dari sepasang keadaan laten, ia harus menentukan tindakan mana yang memindahkan model dari keadaan pertama ke keadaan kedua. Fungsi kerugian Action-NCE memaksa setiap transisi laten untuk mengidentifikasi tindakan yang menghasilkannya di antara semua tindakan dalam batch.
Pendekatan ini tidak memerlukan jaringan target, stop-gradient, encoder yang telah dilatih sebelumnya, maupun rekonstruksi. Yang terpenting — encoder yang kolaps, yang menghasilkan representasi yang sama untuk semua keadaan, secara fisik tidak mampu membedakan satu tindakan dari tindakan lainnya. Ini berarti tugas dinamika terbalik menjadi tidak dapat dipecahkan, dan ini memberikan sinyal yang dapat dibuktikan terhadap degenerasi. Tekanan muncul dari struktur data, bukan dari ketentuan artifisial.
Setelah pelatihan selesai, cabang dinamika terbalik dibuang begitu saja. Pada waktu pengujian, encoding, prediksi langsung, perencanaan, dan biaya komputasi tetap identik dengan LeWM — tanpa beban tambahan pada inferensi.
Apa yang Ditunjukkan oleh Eksperimen
Metode ini diuji pada empat tugas pixel-control standar dengan protokol perencanaan yang konsisten. AC-MTM secara stabil dilatih dari nol dan rata-rata menunjukkan hasil yang sebanding dengan SIGReg. Artinya, melepas regularisasi Gaussian tidak menyebabkan penurunan kualitas pada lingkungan sederhana.
Gambaran yang lebih menarik terlihat pada benchmark kompleks OGBench Visual Scene. Di sana, AC-MTM mencapai keberhasilan 80,0±2,0%, sedangkan SIGReg hanya 58,0±2,0%. Peningkatannya mencapai 20–24 poin persentase pada setiap seed pelatihan. Untuk memahami skalanya: satu kali menjalankan kebijakan acak dari 50 episode memberikan tingkat dasar 52%, sehingga perbedaan antar metode benar-benar signifikan.
Selain itu, dinamika terbalik kontrastif tidak bergantung pada asumsi distribusional. Para penulis mengkarakterisasi asumsi tentang ruang tindakan dan observabilitas yang membuat metode ini bekerja, tetapi kondisi-kondisi ini jauh lebih lunak daripada persyaratan Gaussian.
Implikasi Praktis
Kesimpulan utama dari karya ini: untuk menghindari kolaps, tidak perlu memutuskan terlebih dahulu bagaimana representasi seharusnya terlihat. Cukup dengan menetapkan tugas yang dijamin akan gagal dilakukan oleh encoder yang terdegenerasi. Pendekatan semacam ini ternyata tidak hanya lebih berprinsip, tetapi juga memberikan hasil yang lebih baik pada tugas visual yang kompleks, di mana batasan Gaussian SIGReg menghambat pelatihan.
Kode telah dipublikasikan, sehingga hasilnya mudah untuk direproduksi dan diadaptasi ke proyek Anda sendiri. Bagi siapa pun yang membangun model dunia berdasarkan ide JEPA, AC-MTM adalah opsi yang praktis: tanpa biaya tambahan pada inferensi, tanpa jaringan target dan stop-gradient, serta dengan sumber sinyal pelatihan yang lebih alami.
