Mengapa Perlu Melihat ke Dalam Trajektori Agen AI
Ketika sebuah agen menyelesaikan tugas, kita biasanya hanya melihat hasilnya: sukses atau gagal. Tetapi bagaimana tepatnya ia bernalar, langkah apa yang diambilnya, dan di mana ia salah melangkah — tetap tidak terlihat. Bagi peneliti dan pengembang yang men-debug perilaku agen, "kotak hitam" ini adalah masalah utama. Mengetahui bahwa agen gagal dalam tugas saja tidak cukup; penting untuk memahami pada tahap apa hal itu terjadi dan pola apa yang berulang dari waktu ke waktu.
Di sinilah analisis berbasis proses hadir sebagai solusi. Alih-alih hanya mengevaluasi hasil akhir, pendekatan ini menelaah seluruh rangkaian tindakan: pemikiran, observasi, pemanggilan alat. Pendekatan semacam ini memungkinkan perbandingan antara eksekusi yang berhasil dan yang gagal, menemukan kesalahan umum, dan pada akhirnya membuat agen lebih dapat diprediksi.
Apa itu Graphectory Viewer
Graphectory Viewer adalah alat berbasis web yang dibuat untuk analisis interaktif trajektori agen perangkat lunak. Tujuan utamanya adalah mengubah log eksekusi yang beragam dan heterogen menjadi grafik yang mudah dipahami, yang tidak hanya mencerminkan urutan langkah tetapi juga fase maknanya. Alat ini berlandaskan pada representasi Graphectory yang diusulkan oleh para penulis sebelumnya, dan mengembangkannya menjadi antarmuka yang lengkap untuk eksplorasi.
Ide utamanya adalah menghubungkan detail eksekusi tingkat rendah — token individual, pemanggilan fungsi, hasil observasi — dengan struktur perilaku tingkat yang lebih tinggi. Misalnya, rangkaian "membaca tugas → merencanakan → melakukan tindakan → memeriksa hasil" berubah menjadi grafik yang menunjukkan transisi antar fase. Pendekatan ini membantu melihat gambaran besar tanpa kehilangan detail.
Bagaimana Analisis Trajektori Bekerja
Graphectory Viewer tidak hanya bekerja dengan satu kerangka kerja, tetapi mendukung trajektori dari beberapa kerangka kerja agen yang populer. Ini penting karena dalam praktiknya, peneliti sering menggunakan tumpukan teknologi yang berbeda dan tidak ingin terikat pada satu format log. Alat ini mengambil data mentah, menormalkannya, dan membangun apa yang disebut grafik phase-aware — grafik yang memperhitungkan fase.
Interaktivitas adalah kekuatan lainnya. Pengguna dapat:
- Memeriksa simpul — melihat isi pemikiran, tindakan, dan observasi langsung di dalam grafik;
- Mencari dan memfilter — bekerja dengan koleksi trajektori yang besar, hanya memilih skenario yang dibutuhkan;
- Membangun ringkasan ala Sankey — memvisualisasikan bagaimana agen berpindah antar fase penyelesaian tugas.
Fitur terakhir ini sangat berguna saat membandingkan eksekusi yang berhasil dan yang gagal. Pada diagram aliran, terlihat di mana trajektori yang sukses menyimpang dari yang buntu, dan transisi mana yang lebih sering mengarah pada kegagalan.
Meneliti Kumpulan Trajektori dalam Skala Besar
Satu trajektori saja sudah menarik, tetapi nilai sejati muncul saat menganalisis kumpulan data yang besar. Graphectory Viewer memungkinkan identifikasi pola perilaku berulang yang tidak terlihat dengan mata telanjang. Misalnya, seseorang dapat menemukan bahwa agen secara sistematis melewatkan tahap verifikasi hasil atau menyelesaikan tugas terlalu cepat.
Bagi peneliti, ini berarti kemampuan untuk melampaui metrik akhir. Alih-alih pertanyaan "berapa banyak tugas yang berhasil diselesaikan?", muncul pertanyaan yang lebih tepat: "strategi apa yang mengarah pada kesuksesan, dan mana yang mengarah pada kesalahan sistematis?". Ini menggeser fokus dari evaluasi ke pemahaman, yang sangat penting untuk pengembangan sistem agen yang andal.
Artefak Terbuka dan Reproduksibilitas
Penting bahwa karya ini tidak hanya tinggal di atas kertas. Para penulis menerbitkan Graphectory Viewer sebagai artefak terbuka beserta dokumentasi, grafik yang telah dihitung sebelumnya, dan kumpulan trajektori berskala besar. Ini berarti siapa pun tidak hanya dapat melihat demonstrasi, tetapi juga menerapkan alat ini di lingkungan mereka sendiri, menjalankan data mereka, dan mereproduksi hasil dari makalah tersebut.
Pendekatan semacam ini menetapkan standar yang baik untuk alat penelitian: tidak cukup hanya menampilkan tangkapan layar yang indah, tetapi perlu memberi komunitas kesempatan untuk memverifikasi dan menggunakan pengembangan tersebut. Kode dan data terbuka adalah langkah menuju menjadikan analisis trajektori sebagai praktik standar, bukan aksi sekali jalan.
Kesimpulan
Graphectory Viewer mengisi celah penting dalam perangkat untuk bekerja dengan agen AI. Alat ini memberi peneliti dan praktisi kemampuan untuk tidak hanya mengamati perilaku agen, tetapi juga menganalisisnya secara sistematis. Grafik interaktif, dukungan berbagai kerangka kerja, dan kemampuan bekerja dengan kumpulan data besar menjadikan alat ini berguna baik untuk men-debug eksekusi individual maupun untuk penelitian berskala besar.
Mungkin yang paling berharga di sini adalah perubahan sudut pandang. Alih-alih pertanyaan "apa yang dilakukan agen?", kita akhirnya dapat bertanya "bagaimana dan mengapa ia melakukannya?". Dan mendapatkan jawaban yang terlihat dengan mata.
