Masalah: kebijakan ideal yang hancur oleh realita
Robot yang dilatih dengan pembelajaran imitasi dapat menunjukkan hasil yang mengesankan di laboratorium. Misalnya, pendekatan Action Chunking with Transformers (ACT) — metode yang menjadi populer karena kemampuannya mereproduksi lintasan kompleks yang didemonstrasikan manusia — dalam kondisi ideal mampu menangani berbagai tugas. Tetapi begitu kondisi sedikit saja berubah, semuanya mulai kacau. Sedikit kesalahan kalibrasi gripper, objek yang terletak beberapa milimeter dari posisi seharusnya, atau bahkan tekstur permukaan yang berubah — dan kebijakan yang tadinya sempurna mulai bertindak ragu-ragu.
Sensitivitas terhadap pergeseran distribusi ini adalah masalah yang sudah dikenal dalam pembelajaran imitasi. Model menghafal lintasan dan konteks tertentu, bukan keterampilan abstrak. Di dunia nyata, di mana segala sesuatu berubah setiap detik, hal ini membuat robot hampir tidak berguna tanpa penyesuaian tambahan.
Cara tradisional untuk memperbaikinya adalah mengumpulkan demonstrasi baru yang sudah memperhitungkan kesalahan, mencampurnya dengan data lama, dan menjalankan pelatihan ulang. Ini mahal secara komputasi dan memakan waktu. Dan jika menyangkut pekerjaan real-time — misalnya di lini produksi — opsi ini sama sekali tidak dapat diterima: selama robot dilatih ulang, waktu henti menghabiskan biaya.
ORPA: modul ringan alih-alih pelatihan ulang yang berat
Sekelompok peneliti dari Jepang — Muhammad A. Muttaqien, Tomohiro Motoda, Ryo Hanai, dan Yukiyasu Domae — memperkenalkan kerangka kerja ORPA (Online Residual Policy Adaptation). Idenya sangat elegan: alih-alih melatih ulang jaringan utama, mereka mengusulkan untuk menambahkan modul eksternal ringan yang hanya bertugas mengoreksi tindakan.
Cara kerja adaptasi residual
Setiap saat, modul ORPA menerima sinyal dari operator — bisa berupa perintah "putar sedikit", "geser", atau vektor koreksi yang lebih kompleks. Berdasarkan sinyal ini, modul memprediksi perubahan residual yang perlu diterapkan pada kendali robot. Yang penting, prediksi dilakukan langsung di ruang sendi — yaitu pada tingkat sudut rotasi setiap sambungan manipulator. Ini memungkinkan koreksi yang sangat presisi dan lokal tanpa memengaruhi strategi perilaku secara global.
Kebijakan dasar tetap dibekukan: bobotnya tidak berubah. Ini berarti pengetahuan dan keterampilan yang terakumulasi selama pelatihan tidak rusak. Dan modul koreksi residual adalah penyesuaian halus di atas solusi yang sudah jadi. Sebagai analogi: jika Anda mengendarai mobil dengan autopilot, Anda tidak memprogram ulang otaknya, Anda hanya mengarahkan setir sedikit.
Berkat arsitektur ini, ORPA dapat bekerja saat runtime. Tidak perlu menunggu siklus pelatihan selesai atau bahkan memiliki akses ke kode pelatihan — modul cukup dihubungkan ke sistem yang berjalan, dan modul akan mulai mengadaptasi perilaku.
Keunggulan untuk real-time
Salah satu keunggulan utama pendekatan ini adalah ringannya secara komputasi. Karena modulnya kecil, ia tidak memerlukan daya komputasi khusus dan dapat bekerja hampir seketika. Ini membuka jalan untuk menggunakan ORPA dalam tugas-tugas yang membutuhkan respons dalam hitungan milidetik, misalnya dalam kerja kolaboratif antara manusia dan robot.
Bagaimana cara mengujinya: eksperimen di ALOHA
Untuk memastikan ORPA benar-benar berfungsi, para penulis melakukan serangkaian eksperimen pada platform ALOHA. Platform ini dikenal karena memungkinkan robot dengan dua manipulator belajar dari demonstrasi manusia dan melakukan operasi presisi — dari perakitan hingga bekerja dengan benda-benda kecil.
Dalam eksperimen, tiga pendekatan dibandingkan: kebijakan kontrol dasar, kebijakan dengan koreksi berbasis aturan menggunakan kinematika terbalik, dan kebijakan dengan tambahan ORPA. Dua metrik kunci diukur: tingkat keberhasilan penyelesaian tugas dan kemampuan pulih setelah gangguan kecil — misalnya, ketika objek tiba-tiba digeser selama gerakan.
Hasilnya menjanjikan
ORPA menunjukkan peningkatan pada kedua metrik. Robot dengan modul adaptasi residual menyelesaikan manipulasi presisi lebih berhasil daripada kebijakan dasar, dan juga lebih cepat kembali ke lintasan yang benar setelah intervensi eksternal. Metode kinematika terbalik berbasis aturan juga tidak mampu menyaingi ORPA — mungkin karena metode tersebut mengandalkan aturan yang telah ditentukan sebelumnya yang tidak memperhitungkan semua nuansa situasi saat ini.
Yang penting untuk ditekankan: semua peningkatan dicapai tanpa mengubah parameter kebijakan asli. Ini berarti teknik yang diusulkan dapat diterapkan sebagai "tambalan" untuk sistem robotik yang sudah beroperasi, tanpa menghentikan operasinya. Cukup hubungkan modul, sesuaikan dengan tugas tertentu — dan lanjutkan bekerja dengan presisi yang lebih tinggi.
Apa artinya ini dalam praktik
Munculnya kerangka kerja seperti ORPA mewujudkan skenario di mana operator dapat mengoreksi perilaku robot "saat itu juga", tanpa jeda panjang untuk pelatihan ulang. Bagi perusahaan, ini berarti lebih sedikit waktu henti dan produksi yang lebih fleksibel: jika lini teknologi berubah, cukup sesuaikan robot sedikit, bukan menghentikan semuanya selama beberapa hari. Bagi laboratorium penelitian, terbuka peluang baru untuk pembuatan prototipe cepat, dan bagi operator — alat yang nyaman untuk penyesuaian halus.
Tentu saja, sebelum adopsi industri, masih ada sejumlah pertanyaan yang harus dijawab: bagaimana cara terbaik menyampaikan sinyal umpan balik kepada operator, perintah apa yang intuitif, dan bagaimana mengintegrasikan ORPA dengan sistem kontrol yang ada. Tetapi idenya sendiri — melatih robot bukan dari nol, melainkan menyempurnakan keterampilan mereka secara tepat sasaran melalui koreksi eksternal — tampak sangat menjanjikan dan, berdasarkan hasilnya, telah membuktikan kelayakannya dalam eksperimen.
