Masalah "berpikir dulu, melihat kemudian": mengapa robot membutuhkan satu model tunggal
Pendekatan klasik untuk mengendalikan robot tampak seperti jalur konveyor: pertama sistem merencanakan urutan tindakan, kemudian modul visi terpisah mencoba mencocokkan rencana dengan apa yang sebenarnya dilihat kamera. Dalam praktiknya, rangkaian seperti ini sering mengalami kegagalan: prediksi tidak sesuai dengan gambar aktual, kesalahan menumpuk, dan pada jarak yang jauh robot "kehilangan benang" dan mulai bertindak kacau.
Para insinyur sejak lama mencari cara untuk menggabungkan prediksi dan kontrol dalam satu arsitektur, sehingga model tidak hanya mengeluarkan perintah, tetapi secara paralel "membayangkan" konsekuensinya. Salah satu solusi tersebut adalah model dunia terpadu dengan memori — UniWM. Model ini dibangun bukan sebagai rangkaian modul yang terpisah-pisah, melainkan sebagai sistem autoregresif multimodal tunggal yang secara eksplisit menghubungkan tindakan dengan hasil yang diprediksi secara visual.
Bagaimana UniWM bekerja: imajinasi menjadi bagian dari kontrol
Ide kuncinya adalah menjadikan prediksi visual bukan sebagai langkah tambahan, melainkan sebagai bagian integral dari pengambilan keputusan. Model menerima masukan berupa bingkai saat ini dari kamera egosentris dan riwayat tindakan, kemudian secara autoregresif menghasilkan tidak hanya langkah berikutnya, tetapi juga gambaran visual masa depan yang sesuai dengannya. Hasilnya adalah siklus tertutup: rencana tindakan diuji "di dalam kepala" robot sebelum robot mulai bergerak.
Berkat ini, ketidaksesuaian antara prediksi dan kontrol nyata dapat dihilangkan. Ketika model memilih tindakan, model sudah tahu bagaimana gambar di depannya akan berubah setelah tindakan tersebut. Ini sangat penting dalam navigasi, di mana setiap perintah memengaruhi pengamatan berikutnya — misalnya, saat berbelok atau menghindari rintangan.
UniWM menggunakan satu backbone untuk menangani data yang beragam: gambar, teks, perintah gerakan. Ini menyederhanakan pelatihan dan memungkinkan model mentransfer pengetahuan antar berbagai jenis tugas tanpa mengubah arsitektur.
Memori: mengapa robot tidak lupa ke mana ia pergi
Salah satu masalah utama navigasi jangka panjang adalah mempertahankan konteks. Jika model hanya melihat bingkai saat ini, model mudah kehilangan orientasi setelah serangkaian manuver. Dalam UniWM, masalah ini diselesaikan oleh mekanisme memori hierarkis. Mekanisme ini menggabungkan dua tingkat:
- memori jangka pendek — menyimpan sinyal persepsi terbaru, seperti bingkai terakhir dan tindakan baru-baru ini;
- memori jangka panjang — menyimpan konteks keseluruhan lintasan, membantu model memahami di mana robot berada relatif terhadap titik awal dan bagian mana yang telah dilalui.
Struktur seperti ini memungkinkan penalaran yang koheren dipertahankan pada cakrawala perencanaan yang panjang. Model tidak hanya bereaksi terhadap gambar sesaat — model memperhitungkan seluruh perjalanan, yang sangat penting untuk ruang besar dan skenario kompleks.
Angka dan pengujian dalam praktik
Para pengembang menguji model pada empat tolok ukur navigasi — Go Stanford, ReCon, SCAND, dan HuRoN, serta pada dataset 1X Humanoid Dataset yang berisi data robot humanoid. Hasilnya menunjukkan kemajuan signifikan dibandingkan dengan garis dasar yang kuat.
- Tingkat keberhasilan navigasi meningkat hingga 30% — artinya robot kini jauh lebih sering mencapai tujuan.
- Kesalahan lintasan berkurang secara signifikan: model mengikuti rute yang direncanakan dengan lebih akurat, lebih sedikit menyimpang, dan tidak melakukan manuver yang tidak perlu.
- Generalisasi zero-shot terkonfirmasi pada dataset TartanDrive yang sebelumnya tidak dikenal — model mampu menerapkan pola yang telah dipelajari pada data baru tanpa pelatihan tambahan.
- Skalabilitas diuji pada navigasi berdimensi tinggi robot humanoid, di mana karena kinematika yang kompleks diperlukan penyelarasan yang sangat presisi antara tindakan dan umpan balik visual.
Hasil-hasil ini menunjukkan bahwa model tunggal mampu menggantikan pipeline bertingkat yang sebelumnya dianggap wajib untuk robotika kompleks. Terlebih lagi, peningkatan dicapai bukan dengan menyesuaikan diri pada tolok ukur tertentu, melainkan melalui penyelarasan sistematis antara prediksi dan kontrol.
Apa artinya ini bagi robotika
Meninggalkan perencanaan dan visi yang terpisah bukan sekadar penyederhanaan teknis. Ini adalah perubahan paradigma: alih-alih "menempelkan" hasil dari berbagai model, robot memperoleh representasi dunia yang utuh, di mana tindakan dan konsekuensi visualnya tidak dapat dipisahkan. Pendekatan semacam ini membuat sistem lebih andal, dan perilaku lebih dapat diprediksi.
Karya ini diterima di ECCV 2026 dan mencakup 22 halaman dengan 12 gambar — ini adalah penelitian lengkap dengan deskripsi rinci tentang arsitektur dan eksperimen. Tinggal menunggu kapan solusi serupa menjadi standar untuk mesin otonom dan drone, di mana peningkatan akurasi sekecil apa pun bisa menjadi penentu.
