Kapan harus berpikir, dan kapan harus bertindak?
Robot yang dilengkapi dengan model bahasa besar mampu bernalar tentang suatu tugas dan menyusun rencana. Namun, di balik "kecerdasan" semacam itu ada biaya tersembunyi: setiap pemanggilan model memakan waktu dan menghabiskan sumber daya komputasi. Saat robot berpikir, dunia nyata tidak berhenti — objek bergerak, waktu penyelesaian tugas bertambah, dan manusia menjadi tidak sabar. Sebaliknya, jika bertindak tanpa berpikir, mudah sekali membuat kesalahan.
Oleh karena itu, pertanyaan kunci dalam robotika embodied modern adalah: bagaimana menemukan keseimbangan antara perencanaan mendalam dan reaksi cepat? Masalah inilah yang menjadi fokus sebuah karya penelitian baru yang dipresentasikan di arXiv. Para penulisnya tidak sekadar menyempurnakan model kontrol lain, tetapi melihat masalah dari sudut pandang yang tak terduga: alih-alih mengajari robot untuk bergerak lebih baik, mereka memutuskan untuk mengajarinya memutuskan kapan sebaiknya ia berpikir sama sekali.
Harga "berpikir" yang berlebihan
Biasanya, model bahasa besar dalam sistem robotika bertanggung jawab atas keputusan tingkat tinggi: interpretasi perintah, penyusunan urutan tindakan, pemilihan langkah berikutnya. Ini logis, karena model seperti itulah yang pandai menangani penalaran kompleks tentang dunia objek. Namun, pemanggilan model bukanlah operasi yang instan. Permintaan perlu diproses, terkadang melalui beberapa iterasi penalaran, dan selama itu robot secara fisik tidak melakukan apa pun.
Muncul paradoks: semakin "pintar" agen tersebut, semakin lambat ia bekerja di lingkungan nyata. Dan masalahnya bukan pada model itu sendiri, melainkan pada seberapa sering dan seberapa banyak model tersebut digunakan.
- Jika robot terlalu banyak bernalar, ia menunda pelaksanaan tindakan dan tidak lagi mampu merespons perubahan di sekitarnya.
- Jika penalarannya terlalu sedikit, keputusan diambil secara membabi buta — robot bertindak berdasarkan pola dan membuat kesalahan yang sebenarnya bisa dicegah.
Artinya, pemikiran yang berlebihan dan kekurangannya sama-sama merugikan. Diperlukan mekanisme adaptif yang memahami konteks dan menyesuaikan "kedalaman berpikir" dengan situasi saat ini. Tetapi, bagaimana cara menciptakan mekanisme semacam itu?
Mempelajari kebijakan orkestrasi
Para penulis karya ini mengambil jalan yang tidak lazim dan mengusulkan kerangka kerja RARRL (Resource-Aware Reasoning via Reinforcement Learning). Alih-alih melatih robot untuk melakukan manipulasi dari awal, mereka memindahkan pengambilan keputusan tentang penggunaan model ke tingkat yang terpisah. Hierarkinya terlihat seperti ini: di bagian bawah tetap ada keterampilan gerakan dan interaksi dengan objek yang sudah umum, sementara di bagian atas muncul "orkestrator" yang mengelola proses berpikir.
Kebijakan pembelajaran penguatan tingkat tinggi ini harus menjawab tiga pertanyaan pada setiap saat:
- Apakah penalaran perlu dipanggil sama sekali?
- Jenis penalaran apa yang harus digunakan?
- Berapa banyak anggaran komputasi yang harus dialokasikan untuk itu?
Kebijakan ini tidak bekerja dalam ruang hampa. Kebijakan ini mempertimbangkan pengamatan saat ini terhadap lingkungan, riwayat tindakan sebelumnya, dan sisa sumber daya — misalnya, waktu atau energi. Jika tugas hampir selesai dan anggaran hampir habis, orkestrator dapat menolak analisis yang panjang dan mengalihkan robot ke mode tindakan eksekusi sederhana. Dan jika agen dihadapkan pada hambatan yang kompleks, ia justru akan mengalokasikan lebih banyak komputasi untuk perencanaan yang cermat.
Pendekatan ini secara fundamental berbeda dari jadwal pemanggilan model yang tetap, di mana penalaran diaktifkan pada interval waktu yang sama, atau dari heuristik sederhana yang mencoba menebak momen yang tepat berdasarkan tanda-tanda tidak langsung. Di sini, strategi "berpikir atau bertindak" itu sendiri menjadi hasil dari pembelajaran, yang berarti strategi tersebut dioptimalkan untuk keberhasilan nyata dalam menyelesaikan tugas.
Eksperimen: pengujian pada tugas ALFRED
Untuk memahami seberapa efektif pendekatan ini, para peneliti melakukan serangkaian eksperimen menggunakan profil penundaan empiris dari tolok ukur ALFRED yang terkenal. Dalam pengujian ini, sistem RARRL dibandingkan dengan strategi pemanggilan penalaran yang tetap dan heuristik.
Hasilnya sangat signifikan. Kebijakan adaptif memungkinkan peningkatan frekuensi keberhasilan penyelesaian tugas secara nyata. Pada saat yang sama, penundaan penyelesaian secara keseluruhan juga berkurang: robot berhenti membuang waktu untuk pemikiran yang tidak perlu dalam situasi sederhana. Selain itu, sistem menjadi lebih tangguh — sistem lebih jarang terjebak dalam kebuntuan karena penalaran yang salah dan lebih jarang gagal menyelesaikan tugas karena tindakan yang terburu-buru.
Menariknya, keuntungan ini dicapai bukan karena model bahasa yang lebih "pintar", melainkan karena pengelolaan model yang lebih cerdas. Ini menegaskan gagasan yang sederhana namun penting: dalam sistem hibrida, kualitas hasil tidak hanya bergantung pada kekuatan komponen individual, tetapi juga pada bagaimana komponen-komponen tersebut berinteraksi.
Langkah selanjutnya: dari laboratorium ke robot nyata
Hasil yang diperoleh selaras dengan tren umum perkembangan robotika. Semakin sering para peneliti berbicara tentang arsitektur kognitif, di mana model hanyalah salah satu elemen, bukan pusat dari segalanya. Kemampuan untuk berhenti dan berpikir pada waktu yang tepat, atau sebaliknya, bertindak cepat — adalah keterampilan yang sama pentingnya dengan perencanaan lintasan yang akurat.
Namun, masih ada pertanyaan yang belum terjawab. Mempelajari kebijakan tingkat tinggi memerlukan perancangan ruang keadaan dan tindakan yang cermat. Mengevaluasi sumber daya yang dihabiskan secara real-time juga tidak mudah. Sejauh ini, eksperimen dilakukan dalam skenario simulasi dengan profil penundaan empiris, tetapi langkah logis berikutnya adalah pengujian pada robot fisik.
Di lingkungan nyata, penundaan bahkan lebih tidak dapat diprediksi, sehingga kemampuan untuk secara dinamis mengubah "kedalaman berpikir" akan menjadi sangat penting. Mungkin, dalam beberapa tahun, orkestrator penalaran semacam ini akan menjadi lapisan standar dalam arsitektur robot — dari manipulator gudang hingga asisten rumah tangga.
Pergeseran dalam perumusan masalah itu sendiri — dari "bagaimana mengajari robot bertindak" menjadi "kapan robot sebaiknya berpikir" — tampak sangat menjanjikan. Ini berpotensi membuat robot tidak hanya lebih pintar, tetapi juga jauh lebih praktis di dunia nyata.
