Singkat dan ke titik
Bisakah model bahasa modern menggantikan peninjau langsung di konferensi pembelajaran mesin? Peneliti menguji ini pada bahan ICLR yang sebenarnya - salah satu tempat paling bergengsi di lapangan. Dalam sebuah makalah yang diterbitkan di Arxiv (nomor 2603659), Abraham Camelo-Guerrero dan Jairo Diaz- Rodriguez membandingkan bagaimana tiga model terkenal menangani evaluasi dari submisi ilmiah terhadap keputusan manusia.
Kesimpulannya adalah dua kali lipat: algoritma melakukan pekerjaan yang layak untuk memisahkan makalah "diterima" dari yang ditolak, namun mereka benar-benar kehilangan perbedaan yang lebih baik, seperti perbedaan antara presentasi lisan dan poster. Pada saat yang sama, setiap model menunjukkan tanda tangannya sendiri: satu memberikan nilai murah hati, yang lain terlalu ketat dengan kertas yang kuat. Pemirsa mesin juga berfokus pada kelemahan yang sama sekali berbeda dari para ahli manusia.
Singkatnya, menggunakan LLM sebagai filter kasar mungkin, tapi sepenuhnya mempercayai mereka dengan keputusan akhir adalah prematur untuk saat ini. Di bawah ini, kami memecahkan rincian percobaan dan temuan.
Bagaimana percobaan diatur
Kondisi dan data
Penulis mengambil 300 kiriman ke ICLR 2026 dan menyeimbangkannya di tiga kategori: presentasi lisan, poster, dan surat-surat yang ditolak - seratus orang. Pendekatan ini menjamin bahwa model tidak hanya menebak tapi sebenarnya dipaksa untuk membedakan ketiga kelas.
Setiap model - GPT-5.4, Gemini 3.1 Pro Preview, dan Claude Opus 4.6 - menerima set yang sama instruksi dan skala rating. Sebuah detail penting: informasi tentang keputusan manusia dihapus dari teks pengajuan di muka. Hal ini diperlukan untuk mencegah kebocoran jawaban dan untuk menguji kemampuan model untuk membuat penilaian independen.
Metode perbandingan
Para peneliti melihat hasil dari tiga sudut. Pertama, mereka memeriksa bagaimana akurat prediksi model 'cocok dengan keputusan akhir - baik dalam arti yang luas (diterima atau tidak) dan secara detail (oral vs poster). Kedua, mereka mempelajari bagaimana model menggunakan skala rekomendasi: misalnya, apakah mereka mengembang skor. Ketiga, mereka membandingkan yang kelemahan dalam kertas ditemukan oleh manusia dan yang oleh algoritma.
Apa yang ditunjukkan hasilnya
Menghilangkan nasib pengiriman
Berita menggembirakan: ketiga LLM percaya diri membedakan makalah yang diterima dari yang ditolak. Ini berarti bahwa ulasan model membawa sinyal yang berguna bahkan tanpa pelatihan pada konferens-spesifik data. Namun, keberhasilan berakhir di sana.
Tak satu pun dari model berhasil mereproduksi perbedaan antara lisan dan poster yang jelas dalam penilaian manusia. Untuk algoritma, kertas yang diterima tampak seperti kelompok homogen, meskipun ada hirarki yang terlihat antara presentasi lisan dan poster. Ini adalah kesenjangan yang penting: Kriteria kualitas yang bernuansa baik yang membedakan penelitian yang luar biasa dari hanya pekerjaan yang baik belum ditangkap oleh mesin.
Perbedaan antar model penyedia
Perilaku model 'ternyata menjadi sangat terikat dengan pengembang. Gemini 3.1 Pro Preview bertindak seperti seorang peninjau klasik "ringan": nilainya konsisten di atas rata-rata. Menariknya, GPT-5.4 dan Claude Opus 4.6 jauh lebih dekat dengan manusia ketika datang untuk ditolak dan kertas poster, tapi pada saat yang sama menunjukkan peningkatan ketekunan terhadap pengiriman oral.
bias ini dapat ditafsirkan dengan cara yang berbeda. Mungkin "nitpick" kertas kuat karena harapan tinggi: lebih mudah untuk menemukan titik rentan dalam teks yang baik daripada dalam yang jelas lemah. Atau mungkin arsitektur perhatian hanya tidak tahu bagaimana untuk skala pujian: untuk itu, tidak ada perbedaan besar antara "baik" dan "sangat baik".
Divergensi Topik
Bagian yang paling ingin tahu adalah apa yang penonton mesin perhatikan. Ketiga model ini sering menunjukkan kurangnya eksperimen perbandingan dasar - kritik klasik dari karya ilmiah. Para ahli manusia, sementara itu, jauh lebih sering mengajukan pertanyaan tentang efisiensi komputasional: berapa banyak sumber daya yang diperlukan metode yang diusulkan, seberapa praktis itu.
Ini bukan hanya perbedaan dalam gaya. Ini mencerminkan perbedaan dalam prioritas. Manusia berpikir tentang aplikasi dunia nyata, tentang biaya pelatihan dan penyebaran, sementara model mengevaluasi teks lebih sebagai dokumen formal. Jadi jika Anda menggunakan LLM untuk pemeriksaan awal kertas, Anda harus siap bahwa beberapa komentar penting tidak akan pernah mencapai Anda.
Kesimpulan
Pelajaran utama dari penelitian ini: akurasi model pada tingkat "diterima / ditolak" belum menunjukkan kompetensi dalam evaluasi rinci. Kemampuan untuk membedakan jelas kertas yang lemah dari yang lain adalah filter cukup kasar yang tidak menggantikan tinjauan bijaksana.
Aplikasi praktis menunjukkan dirinya sendiri: LLM dapat digunakan sebagai asisten primer bahwa filter jelas tidak cocok pengiriman atau bendera jelas kelemahan formal. Tapi keputusan tentang nasib kertas padat harus tetap dengan manusia - jika hanya karena skala nilai manusia (prioritas efisiensi, penilaian dari baru, konteks lapangan) masih berbeda dari mesin.
Dalam jangka panjang, mungkin masuk akal untuk mengkalibrasi model untuk komunitas tertentu dan bahkan untuk peninjau tertentu. Tapi sampai itu terjadi, mengandalkan review otomatis dalam komunikasi ilmiah setidaknya prematur.
