OpenCollab: koordinasi agen yang dapat diprogram, lingkungan eksekusi terkontrol, dan metrik kepatuhan terhadap kebijakan

11 November 20264 tampilan

Framework ini menyatukan penetapan struktur interaksi agen, lingkungan eksperimen bersama, dan pelacakan peristiwa yang terperinci, sementara metrik Adherence yang diperkenalkan menunjukkan sejauh mana pelaksanaan aktual sesuai dengan skema yang dinyatakan. Dalam benchmark, konfigurasi Duo mencapai tingkat SOTA baru, sedangkan varian agen tunggal memiliki konsumsi token terendah.

OpenCollab: koordinasi agen yang dapat diprogram, lingkungan eksekusi terkontrol, dan metrik kepatuhan terhadap kebijakan

Tujuan framework

OpenCollab adalah framework untuk pengembangan multiagen. Framework ini menyediakan infrastruktur terpadu untuk interaksi yang dapat diprogram dan lingkungan eksekusi yang terkendali.

Elemen utama:

  • pengembangan multiagen;
  • interaksi agen yang dapat diprogram;
  • lingkungan eksekusi yang terkendali.

Makna praktis: framework ini diperlukan ketika koordinasi agen harus ditentukan secara terprogram dan dijalankan dalam lingkungan yang terkendali.

Organisasi agen sebagai objek perancangan

OpenCollab menggabungkan perancangan organisasi agen dengan eksekusi. Organisasi menjadi bagian dari konfigurasi, bukan deskripsi eksternal.

Hal-hal yang tercakup dalam perancangan:

  • komposisi organisasi agen;
  • struktur interaksi yang dinyatakan;
  • hubungan struktur dengan eksekusi.

Kriteria: organisasi harus dideskripsikan sedemikian rupa sehingga dapat direproduksi. Jika tidak, perancangan hanya menjadi deklarasi.

Lingkungan eksekusi terkendali dan observabilitas

OpenCollab menyediakan kontrol eksperimental dalam lingkungan eksekusi bersama. Lingkungan ini menjaga para agen tetap berada dalam satu lingkup.

Manfaat lingkungan:

  • kondisi eksekusi yang sama untuk konfigurasi yang dibandingkan;
  • kontrol eksperimental;
  • aliran peristiwa yang terperinci.

Kriteria praktis: tanpa lingkungan bersama dan aliran peristiwa, perbandingan konfigurasi tidak dapat direproduksi.

Adherence: metrik kepatuhan terhadap aturan

Para penulis OpenCollab memperkenalkan Adherence. Indikator ini mengukur sejauh mana organisasi agen yang dinyatakan benar-benar diterapkan.

Hal-hal yang dicatat oleh metrik:

  • organisasi agen yang dinyatakan;
  • eksekusi aktual;
  • kesenjangan di antara keduanya dalam persentase.

Dalam eksperimen, perubahan pada satu dimensi konfigurasi mana pun menggeser Adherence. Indikator ini berkisar dari 47,2% hingga 97,2%.

Kriteria praktis: Adherence menunjukkan kesenjangan antara organisasi yang dinyatakan dan eksekusi aktual. Metrik ini dinilai bersama hasil akhir.

Hasil dalam benchmark pengembangan agen

Dalam benchmark pengembangan agen, OpenCollab (Duo) menunjukkan SOTA baru. Para penulis membandingkannya dengan Mini-SWE-agent, OpenHands, Codex CLI, dan Claude Code.

Menurut hasil yang dilaporkan para penulis, organisasi agen yang dirancang dengan baik dapat mengungguli harness yang sudah ada dan berkinerja tinggi. Konfigurasi agen tunggal OpenCollab menggunakan token paling sedikit di antara semua rangkaian pengujian yang dievaluasi.

PesertaHasil
OpenCollab (Duo)SOTA baru dalam benchmark pengembangan agen
Mini-SWE-agentDiikutsertakan dalam perbandingan
OpenHandsDiikutsertakan dalam perbandingan
Codex CLIDiikutsertakan dalam perbandingan
Claude CodeDiikutsertakan dalam perbandingan
Konfigurasi agen tunggal OpenCollabToken paling sedikit di antara semua rangkaian pengujian yang dievaluasi

Kriteria pemilihan: jangan hanya membandingkan posisi teratas SOTA, tetapi juga penggunaan token oleh konfigurasi tertentu.

Kriteria praktis untuk memilih

Pemilihan dimulai dengan memeriksa apakah koordinasi agen dapat ditentukan secara terprogram. Selanjutnya, periksa apakah framework mengukur kepatuhan terhadap organisasi yang dinyatakan. OpenCollab menyediakan Adherence dan lingkungan eksekusi bersama untuk itu.

Daftar periksa pemilihan:

  1. Koordinasi agen yang dapat diprogram.
  2. Ketersediaan metrik Adherence.
  3. Lingkungan eksekusi bersama dan aliran peristiwa.
  4. Hasil yang sebanding dalam benchmark pengembangan agen.
  5. Penggunaan token oleh konfigurasi yang dipilih.

Framework ini cocok jika kelima poin dapat diverifikasi. Jika suatu poin tidak dapat diverifikasi, pemilihan tidak memiliki dasar yang kuat.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Toollery: memilih alat untuk agen LLM dari puluhan ribu opsi tanpa fine-tuning
Berita

Toollery: memilih alat untuk agen LLM dari puluhan ribu opsi tanpa fine-tuning

Toollery membangun indeks pencarian berdasarkan deskripsi keterampilan dan alat, lalu saat ada permintaan hanya meneruskan sekumpulan kandidat terbatas ke model. Dalam eksperimen pada pustaka berskala hingga puluhan ribu fungsi, pendekatan ini mampu mempertahankan kualitas pemilihan dengan top-K tetap, meskipun dampak akhirnya bergantung pada profil beban dan caching di penyedia.

11 November 2026
Diagnostik bertahap agen GUI dalam analisis dasbor: benchmark DashAct
Penelitian

Diagnostik bertahap agen GUI dalam analisis dasbor: benchmark DashAct

DashAct diperkenalkan sebagai tolok ukur yang terdiri atas 348 trajektori yang diverifikasi manusia, yang menguraikan kerja agen GUI dengan panel interaktif menjadi tiga tahap dan empat kondisi visual. Hasilnya menunjukkan masalah yang terus berulang dalam memprediksi tindakan dan mengaitkannya dengan target visual, serta ketergantungan respons agen pada dukungan kontekstual dan spasial.

11 November 2026
WILSON: menggabungkan tingkat pembesaran dan preparat pasien untuk analisis patomorfologi dan penyusunan laporan
Berita

WILSON: menggabungkan tingkat pembesaran dan preparat pasien untuk analisis patomorfologi dan penyusunan laporan

Pracetak ini memperkenalkan WILSON — model vision-language yang mengodekan gambar seluruh slide dan rangkaian preparat dari satu pasien pada berbagai tingkat pembesaran, bukan hanya satu slide “terbaik”. Tanpa pelatihan lanjutan untuk tugas tertentu, model ini mengungguli model slide khusus dan berukuran lebih besar pada sejumlah metrik dengan beban komputasi yang jauh lebih rendah, sementara deskripsi diagnostiknya mendapat penilaian lebih tinggi dari para ahli patologi.

11 November 2026
OpenCollab: koordinasi agen yang dapat diprogram, lingkungan eksekusi terkontrol, dan metrik kepatuhan terhadap kebijakan