Agen AI modern cukup mahir menangani tugas-tugas kantor yang umum, tetapi bagaimana cara menguji apakah mereka siap bekerja di lingkungan korporat yang kompleks—misalnya, di industri telekomunikasi? Di sini, tes umum saja tidak cukup: diperlukan skenario realistis dengan dokumen asli, basis data, dan pertanyaan pengguna yang tidak lazim. Justru untuk tujuan inilah Telco-GAIA diciptakan—sebuah tolok ukur multimodal dwibahasa yang dibangun di sekitar data dari operator telekomunikasi sungguhan. Tolok ukur ini memungkinkan penilaian seberapa baik agen AI dalam bernalar, menggunakan perangkat, dan mengekstrak informasi dari berbagai sumber.
Mengapa Tolok Ukur Seperti Ini Diperlukan
Sebagian besar tes terbuka untuk agen AI menyerupai teka-teki: tes-tes tersebut terlalu sintetis atau tidak memerlukan kerja nyata dengan data korporat. Telco-GAIA mengisi celah ini. Pertanyaan-pertanyaannya disusun sedemikian rupa sehingga agen menghadapi tugas-tugas yang akrab bagi karyawan operator telekomunikasi: menemukan informasi di situs web, mencocokkannya dengan catatan di basis data, dan memverifikasi detail dalam dokumen arsip. Ini bukan ujian daya ingat model, melainkan ujian kemampuan untuk bekerja dengan berbagai sumber dan menarik kesimpulan.
Tolok ukur ini dwibahasa: semua tugas dirumuskan dalam bahasa Inggris dan Arab. Pilihan ini bukan kebetulan—ini mencerminkan kebutuhan nyata para operator di kawasan tempat bahasa Arab menjadi bahasa kerja, namun sebagian besar dokumentasi internal tetap dalam bahasa Inggris.
Apa yang Ada di Dalam Telco-GAIA
Tolok ukur ini mencakup 100 tugas tanya-jawab, yang masing-masing telah diverifikasi oleh manusia. Penting untuk dicatat bahwa tugas-tugas ini tidak memerlukan jawaban singkat, melainkan serangkaian langkah logis—rata-rata 4,2 langkah. Semua pertanyaan dikategorikan berdasarkan jenis modalitas: teks, tabel, dan grafik. Ini berarti model harus sama percaya dirinya saat bekerja dengan dokumen PDF maupun dengan gambar atau struktur kueri SQL.
Untuk menyelesaikan tugas, agen perlu mengakses tiga sumber yang heterogen:
- Cuplikan statis situs web operator—halaman HTML, gambar, dan file PDF terkait.
- Basis data relasional sintetis—strukturnya meniru sistem internal operator, namun datanya aman untuk dipublikasikan.
- Arsip web eksternal—materi tambahan yang mungkin diperlukan untuk memverifikasi fakta atau mengklarifikasi konteks.
Bagaimana Pengujian Dilakukan
Salah satu prinsip utama Telco-GAIA adalah objektivitas. Para pengembang menolak penggunaan juri LLM yang sedang tren, di mana satu model mengevaluasi jawaban model lain. Sebagai gantinya, mereka menggunakan perbandingan string tepat yang dinormalisasi, dan seluruh tolok ukur dikemas dalam lingkungan Docker yang terisolasi. Ini berarti hasilnya tidak bergantung pada mesin tertentu atau versi pustaka: jalankan kontainernya—Anda mendapatkan angka yang sama. Pendekatan ini membuat evaluasi menjadi deterministik dan dapat direproduksi, yang sangat penting untuk penelitian dan perbandingan berbagai model.
Apa yang Ditunjukkan oleh Pengujian
Para pengembang menjalankan agen referensi dengan dua belas model berbeda—baik komersial maupun terbuka—melalui tolok ukur ini. Hasilnya cukup mengecewakan: bahkan model terkuat pun hanya berhasil menyelesaikan 71% tugas. Jika anggaran untuk pemanggilan alat dipangkas hingga tingkat moderat, hasilnya turun hingga sekitar 40%. Dengan kata lain, agen mulai terlihat jelas "memotong jalan pintas": tidak mengambil langkah ekstra, tidak memeriksa detail, dan lebih sering membuat kesalahan dalam kasus yang tidak standar.
Model-model tersebut sangat lemah dalam kategori yang memerlukan penggunaan informasi visual—gambar dan grafik. Skor rata-rata di sana berada di bawah 30%. Ini menunjukkan bahwa pemahaman dokumen bergambar masih menjadi titik pertumbuhan yang serius bagi agen AI. Secara keseluruhan, Telco-GAIA mencatat kesenjangan yang signifikan antara ekspektasi terhadap agen korporat dan kemampuan nyata LLM modern.
Kesimpulan
Telco-GAIA bukan sekadar tolok ukur penelitian lainnya. Ini adalah alat praktis bagi perusahaan yang membangun agen AI mereka sendiri dan ingin memahami keterbatasannya sejak dini. Berkat lingkungan yang dapat direproduksi dan tugas-tugas yang telah terverifikasi, tolok ukur ini dapat digunakan sebagai standar kualitas internal.
Lebih jauh lagi, pendekatan yang tertanam dalam Telco-GAIA mudah diadaptasi ke domain tertutup lainnya—mulai dari perbankan hingga logistik. Formatnya menyediakan templat siap pakai: ambil data nyata, anonimkan dengan hati-hati, bagi menjadi sumber-sumber independen, dan bangun lingkungan tempat agen harus menunjukkan keterampilan penalarannya. Inilah pergeseran yang dibutuhkan pasar: dari tes pengetahuan umum menuju verifikasi kompetensi praktis pada data korporat yang masuk akal.
