Menu membatasi tindakan yang tersedia
Menu alat adalah subset singkat dan terurut dari tindakan yang tersedia, yang diterima agen sebelum menjalankan tugas. Agen hanya dapat memanggil alat yang ada di menu tersebut.
Artinya, komposisi dan urutan menu memengaruhi kemampuan agen dalam menyelesaikan tugas. Kriteria praktis: periksa bukan hanya ketersediaan tindakan yang diperlukan, tetapi juga ketersediaan alat yang menyiapkan data untuk tindakan tersebut.
Mengapa relevansi tidak menjamin tugas selesai
Tugas multilangkah membutuhkan tindakan akhir dan alat-alat pendahulu. Alat-alat tersebut harus menghasilkan masukan yang diperlukan dalam urutan yang sesuai.
Pemeringkatan berdasarkan relevansi terhadap permintaan dapat menemukan tindakan akhir, tetapi melewatkan atau menunda alat penghasil data yang kurang kentara. Kriteria pemilihan: nilai menu berdasarkan kelengkapan rantai yang dapat dieksekusi, bukan hanya kemiripan alat dengan permintaan.
| Pendekatan | Hal yang dipertimbangkan | Risiko |
|---|---|---|
| Pemeringkatan berdasarkan relevansi | Kaitan alat dengan permintaan | Penghasil data yang diperlukan mungkin tidak tersedia atau berada di urutan belakang |
| Pemilihan berdasarkan jalur keadaan | Keterlaksanaan transisi dan urutan dependensi | Menu harus mempertimbangkan keadaan serta hubungan antara masukan dan keluaran |
Cara menu berdasarkan jalur keadaan dibentuk
Jalur keadaan adalah rute dari keadaan permintaan yang teramati menuju hasil yang diinginkan. State-Path Tool Menu yang diusulkan oleh para penulis menyusun menu dengan mempertimbangkan keterlaksanaan rute ini.
Mekanismenya mencakup beberapa langkah:
- Encoder mempertimbangkan alat yang tersedia dari keadaan saat ini.
- Encoder menghubungkan keluaran alat dengan masukan tindakan berikutnya.
- Encoder mempertimbangkan urutan tindakan yang berulang dalam jalur pelatihan.
- Pencarian memilih alat awal yang dapat dieksekusi, penghasil data yang belum tersedia, dan tindakan akhir.
- Pemeringkatan ulang menempatkan penghasil sebelum pengguna.
Kriteria praktis: pastikan menu yang dipilih mencakup tindakan awal, alat penghasil yang diperlukan, dan tindakan akhir dalam urutan yang dapat dieksekusi.
Hasil pada ToolBench
Para penulis melaporkan bahwa di ToolBench, menu yang diusulkan meningkatkan keberhasilan eksekusi online dari 0.737 menjadi 0.898. Menu ini juga mengungguli metode dasar pencarian, pemeringkatan ulang, generasi, dan perutean tanpa mengubah agen.
Menu State-Path mencakup lebih banyak rantai lengkap dengan 32 alat dibandingkan daftar resmi yang berisi 128 alat. Peningkatan keberhasilan tetap bertahan pada keluarga eksekutor dengan model yang beragam dalam hal daya.
Hasil ini merujuk pada evaluasi para penulis di ToolBench. Kriteria interpretasi: bandingkan metode berdasarkan keberhasilan eksekusi online dan cakupan rantai lengkap, tanpa mengaitkan hasil hanya dengan ukuran menu.
Cara memilih pendekatan untuk menyusun menu
Untuk tugas yang memiliki dependensi antar tindakan, pencarian alat yang relevan saja tidak cukup. Menu harus mencakup alat yang menghasilkan masukan yang belum tersedia dan menempatkannya sebelum tindakan yang menggunakannya.
Saat membandingkan pendekatan, periksa tiga hal berikut:
- Keterlaksanaan: apakah tindakan awal tersedia dari keadaan saat ini.
- Kelengkapan: apakah alat penghasil dan tindakan akhir tersedia.
- Urutan: apakah penghasil ditempatkan sebelum pengguna.
Untuk mengevaluasi hasil, gunakan keberhasilan eksekusi online dan cakupan rantai lengkap. Kriteria ini tidak hanya mencerminkan seberapa sesuai alat dengan permintaan, tetapi juga apakah agen dapat menempuh jalur hingga mencapai hasil.
Sumber
Artikel “The Menu Is an Execution Prior: State-Path Tool Menus for Online Agents”, arXiv:2609.09395. Para penulis menyampaikan bahwa artikel tersebut diterima di EMNLP 2026 Main; tanggal pengajuan yang dinyatakan adalah 8 September 2026.
