Toollery: memilih alat untuk agen LLM dari puluhan ribu opsi tanpa fine-tuning
Toollery membangun indeks pencarian berdasarkan deskripsi keterampilan dan alat, lalu saat ada permintaan hanya meneruskan sekumpulan kandidat terbatas ke model. Dalam eksperimen pada pustaka berskala hingga puluhan ribu fungsi, pendekatan ini mampu mempertahankan kualitas pemilihan dengan top-K tetap, meskipun dampak akhirnya bergantung pada profil beban dan caching di penyedia.

Mengapa perpustakaan alat yang besar mempersulit pemilihan
Perpustakaan berkembang hingga mencakup ratusan bahkan puluhan ribu skill, alat, dan fungsi API. Memasukkan seluruh perpustakaan ke dalam prompt menambah jumlah token dan latensi. Daftar kandidat yang panjang menambahkan opsi yang mengganggu pemilihan oleh LLM.
Dua efek menimbulkan biaya:
- Bertambahnya jumlah token dan latensi.
- Opsi yang mengganggu dalam daftar kandidat yang panjang.
Kriteria pemilihan: untuk perpustakaan yang berisi ratusan hingga puluhan ribu item, periksa apakah sistem menyaring kandidat sebelum keputusan akhir LLM.
Cara kerja pemadatan daftar kandidat
Toollery adalah framework training-free untuk memadatkan daftar kandidat saat memilih skill dan alat. Metode ini tidak memerlukan pelatihan ulang. Metode ini bekerja dengan perpustakaan skill maupun registri alat.

Pemadatan dilakukan sebelum keputusan akhir LLM. Tahapan metode ini:
- Sistem mengambil spesifikasi setiap skill atau alat.
- Berdasarkan spesifikasi tersebut, sistem menghasilkan kueri yang mencerminkan maksud pengguna.
- Sistem membangun indeks pencarian.
- Berdasarkan kueri pengguna yang sebenarnya, indeks membentuk kumpulan kandidat top-K yang ringkas.
- LLM mengambil keputusan akhir berdasarkan kumpulan tersebut.
Sistem memperlakukan skill tingkat atas dan alat atomik sebagai kapabilitas yang dapat dipilih. Kriteria penerapan: tersedianya spesifikasi untuk skill dan alat. Pemadatan tidak memerlukan pelatihan ulang.
Hasil evaluasi
Evaluasi Toollery mencakup tiga set:
- SkillRouter: 79K kapabilitas.
- BFCL-V4: lebih dari 440 alat atomik.
- Set untuk sistem otomotif: 3396 kueri dan 220 alat; set ini disediakan oleh sebuah perusahaan.
Toollery membatasi pemilihan online ke kumpulan kandidat top-K yang ringkas. Metode ini meningkatkan recall dibandingkan pencarian spesifikasi biasa.
Dengan anggaran tetap top-10, Toollery meningkatkan pemilihan end-to-end pada set untuk sistem otomotif. Pada BFCL-V4, metode ini mempertahankan AST Accuracy yang sebanding.
Kriteria praktis: evaluasi recall pada top-K tertentu dan pemilihan end-to-end. AST Accuracy pada top-10 tetap sebanding pada BFCL-V4.
Kondisi yang memengaruhi hasil
Penulis Toollery mencatat bahwa peningkatan kualitas dan biaya bergantung pada cakupan beban kerja dan caching provider. Peningkatan bergantung pada beban kerja yang dicakup perpustakaan. Caching provider juga menjadi salah satu faktor.
Kriteria pemilihan: uji dampaknya pada beban kerja Anda sendiri dan pertimbangkan caching provider.
Kriteria untuk memilih pendekatan
Tabel merangkum kriteria pemilihan yang diuji oleh Toollery.
| Kriteria | Pertanyaan praktis |
|---|---|
| Ukuran perpustakaan | Apakah perpustakaan mencakup ratusan hingga puluhan ribu skill, alat, atau fungsi API? |
| Seleksi sebelum LLM | Apakah sistem membentuk kumpulan kandidat yang ringkas sebelum keputusan akhir LLM? |
| Pelatihan ulang | Apakah metode ini dapat bekerja tanpa pelatihan ulang? |
| Recall | Apakah seleksi meningkatkan recall dibandingkan pencarian spesifikasi biasa? |
| Anggaran top-K | Apakah metode ini meningkatkan pemilihan end-to-end pada set untuk sistem otomotif dengan top-10? |
| Beban kerja dan cache | Apakah cakupan beban kerja dan caching provider sudah diperhitungkan? |
Kriteria pemilihan adalah kombinasi ukuran perpustakaan, persyaratan recall, dan anggaran kandidat top-K. Kondisi beban kerja dan cache diperiksa secara terpisah.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
OpenCollab: koordinasi agen yang dapat diprogram, lingkungan eksekusi terkontrol, dan metrik kepatuhan terhadap kebijakan
Framework ini menyatukan penetapan struktur interaksi agen, lingkungan eksperimen bersama, dan pelacakan peristiwa yang terperinci, sementara metrik Adherence yang diperkenalkan menunjukkan sejauh mana pelaksanaan aktual sesuai dengan skema yang dinyatakan. Dalam benchmark, konfigurasi Duo mencapai tingkat SOTA baru, sedangkan varian agen tunggal memiliki konsumsi token terendah.
11 November 2026
Diagnostik bertahap agen GUI dalam analisis dasbor: benchmark DashAct
DashAct diperkenalkan sebagai tolok ukur yang terdiri atas 348 trajektori yang diverifikasi manusia, yang menguraikan kerja agen GUI dengan panel interaktif menjadi tiga tahap dan empat kondisi visual. Hasilnya menunjukkan masalah yang terus berulang dalam memprediksi tindakan dan mengaitkannya dengan target visual, serta ketergantungan respons agen pada dukungan kontekstual dan spasial.
11 November 2026
WILSON: menggabungkan tingkat pembesaran dan preparat pasien untuk analisis patomorfologi dan penyusunan laporan
Pracetak ini memperkenalkan WILSON — model vision-language yang mengodekan gambar seluruh slide dan rangkaian preparat dari satu pasien pada berbagai tingkat pembesaran, bukan hanya satu slide “terbaik”. Tanpa pelatihan lanjutan untuk tugas tertentu, model ini mengungguli model slide khusus dan berukuran lebih besar pada sejumlah metrik dengan beban komputasi yang jauh lebih rendah, sementara deskripsi diagnostiknya mendapat penilaian lebih tinggi dari para ahli patologi.
11 November 2026