Mengapa BEAR-Bench Diperlukan
Model multimodal modern dengan percaya diri mengenali objek di foto dan menjawab pertanyaan tentang gambar, tetapi keterampilan mereka dalam bekerja dengan dokumen teks padat — terutama dokumen profesional — sering kali luput dari perhatian. Tolok ukur yang ada sebagian besar menguji ekstraksi fakta, membutuhkan pengetahuan khusus yang sempit, atau memperlakukan dokumen bisnis hanya sebagai salah satu skenario sekunder. Sementara itu, sebagian besar pengujian berorientasi pada bahasa Inggris dan Mandarin: konten berbahasa Rusia hampir tidak terwakili di dalamnya.
BEAR-Bench mengisi celah ini. Ini adalah tolok ukur dwibahasa baru yang mengevaluasi kemampuan AI untuk bernalar tentang dokumen kaya teks dari dunia bisnis dan sains. Karya ini dipresentasikan dalam makalah di arXiv (nomor 2608.17895), yang disusun oleh Liubo Chubarova, Alexandra Kuleshova, Danil Volkov, Kirill Sultanov, dan Alexey Zaitsev.
Bagaimana Pengujian Ini Dirancang
Fitur utama BEAR-Bench adalah kemandiriannya. Model tidak perlu mencari sumber tambahan: semua data yang diperlukan sudah ada di dalam dokumen itu sendiri. Pengujian ini mencakup 1000 pertanyaan, yang diberi anotasi secara manual, dalam bahasa Inggris dan Rusia. Pertanyaan-pertanyaan tersebut dibangun di sekitar materi bisnis dan akademis nyata, di mana yang penting bukan hanya menemukan baris yang tepat, tetapi juga membuat kesimpulan logis, membandingkan angka, atau menafsirkan ketentuan dokumen.
Hal ini secara fundamental membedakan tolok ukur ini dari tes pencarian informasi sederhana: model harus menunjukkan penalaran, bukan kemampuan memindai teks dengan cepat. Berkat sifat dwibahasanya, pengembang dapat memeriksa seberapa tangguh model menangani kosakata profesional dan struktur bahasa yang berbeda.
Hasil: Model Kuat pun Ikut Melakukan Kesalahan
16 model berpartisipasi dalam evaluasi — baik yang bersifat proprietary maupun yang berbobot terbuka. Di antaranya ada sistem besar seperti Gemini 3.1 Pro dan Qwen3.5-397B. Bahkan para pemimpin menunjukkan kesenjangan yang nyata antara level saat ini dan hasil yang ideal.
Menariknya, para penulis tidak membatasi diri pada peringkat sederhana. Mereka menggunakan hasil model pada BEAR-Bench untuk membandingkan metode deteksi halusinasi yang populer. Artinya, mereka tidak hanya mengevaluasi seberapa sering model melakukan kesalahan, tetapi juga seberapa andal kesalahan tersebut dapat dideteksi dengan pendekatan yang ada. Ini adalah aspek praktis yang penting: sistem apa pun yang harus bekerja dengan dokumen tidak hanya perlu dilatih, tetapi juga harus mampu mengontrol jawabannya.
Kesimpulan untuk Pengembang
BEAR-Bench menetapkan standar baru untuk pengujian kualitas AI dalam pekerjaan profesional dengan teks. Korpus dwibahasa dan fokus pada logika, bukan pencarian informasi, menjadikannya alat yang nyaman untuk membandingkan model. Kehadiran bagian berbahasa Rusia memperluas kemungkinan pengujian untuk pasar lokal, dan penyertaan metode deteksi halusinasi dalam gambaran evaluasi secara keseluruhan membantu praktisi memilih solusi yang lebih aman.
Sementara belum ada model yang mendekati batas atas tolok ukur ini — artinya, masih ada ruang untuk berkembang di bidang ini. Bagi tim yang mengembangkan asisten untuk bekerja dengan dokumen, BEAR-Bench akan menjadi acuan keterampilan apa yang perlu diasah terlebih dahulu.
