Dari artikel ke repositori: di mana rantainya terputus
Publikasi ilmiah bukanlah instruksi perakitan. Bahkan teks terperinci dengan rumus dan grafik tidak memuat semua yang diperlukan untuk menjalankan kode dan memperoleh angka yang sama. Justru jurang inilah yang diteliti oleh karya berjudul ReproAgent: Contract-Guided Paper-to-Code Reproduction — karya ini memformalkan tugas paper-to-code reproduction: agen AI ilmiah harus mengubah artikel menjadi repositori yang dapat dieksekusi, yang di dalamnya metode, protokol eksperimen, dan artefak tetap terjaga.
Menurut para penulis, penyebab kesulitannya bukanlah "kelemahan" model, melainkan terpecah-pecahnya spesifikasi. Bagian eksplisit — algoritma, metrik, komposisi artefak — ada dalam artikel, tetapi pada lintasan agen yang panjang detail-detail ini perlahan hilang, tergerus dari konteks kerja. Bagian implisit — default framework, konvensi yang diwarisi dari karya terkait — sama sekali tidak disebutkan dalam teks: bagi penulis artikel hal itu begitu jelas sehingga tidak perlu diucapkan. Detail semacam itu tidak dapat direkonstruksi "berdasarkan pertimbangan umum", dan tanpanya kode entah tidak dapat dijalankan atau menghasilkan hasil yang berbeda.
Data formal prapublikasi: arXiv:2608.24291, kategori utama — cs.AI, tambahan cs.SE; diajukan 25 Agustus 2026. Penulis — Xue Hu, Zewei Pan, Zhongyuan Wang, Zhou Liu, Zeli Su, dan Wentao Zhang, pengirim — Xue Hu. Karya ini diterima di Findings of EMNLP 2026, DOI: 10.48550/arXiv.2608.24291.
Kontrak implementasi sebagai jangkar bagi agen
Ide utama ReproAgent — bukan membiarkan agen "sekadar membaca artikel dan menulis kode". Sebagai gantinya, dibangun kontrak implementasi (implementation contract) yang tetap — sebuah artefak yang hidup sepanjang seluruh pekerjaan dan bertahan melewati lintasan panjang, berbeda dari teks asli dalam konteks.
Kontrak diisi dari dua kanal independen:
- kanal persyaratan (implementation-requirement) — mengubah fragmen artikel menjadi kewajiban konkret atas kode: apa tepatnya yang harus diimplementasikan, metrik apa yang dihitung, data apa yang dimuat;
- kanal bukti (reference-evidence) — menarik petunjuk substantif dan struktural dari repositori terkait, yakni menarik konvensi implisit yang tidak ada dalam teks.
Selanjutnya kedua aliran bertemu: keduanya diikatkan ke work packages — paket pekerjaan — lalu diproyeksikan ke kontrak tingkat file individual. Proyeksi semacam ini penting karena justru pada tingkat file agen harus bertindak, dan justru di sanalah hubungan antara "gagasan dari artikel" dan "baris dalam kode" biasanya hilang.
Makna konstruksi ini adalah bahwa kewajiban bersifat primer, sedangkan generasi bersifat sekunder. Agen tidak berusaha mengingat detail yang diperlukan pada saat menulis kode — ia merujuk pada persyaratan yang sudah tercatat.
Empat tahap dan peran perbaikan
Karya ini dijelaskan sebagai rangkaian empat tahap berurutan yang membentuk singkatan Prepare — Plan — Generate — Repair.
- Prepare — persiapan: penguraian artikel dan materi terkait, pengisian awal kontrak.
- Plan — perencanaan: pemecahan tugas menjadi paket pekerjaan dan pengikatan kewajiban serta bukti padanya.
- Generate — generasi kode berdasarkan kontrak tingkat file.
- Repair — perbaikan: kontrak digunakan kembali untuk memahami apa tepatnya yang menyimpang dari persyaratan, bukan menambal kesalahan secara asal.
Perhatikan asimetrinya: kontrak diperlukan bukan hanya di awal, tetapi juga di akhir — saat memperbaiki kesalahan. Ini mungkin bagian paling praktis dari gagasan tersebut. Sebagian besar pipeline agen kuat pada tahap penulisan dan lemah pada tahap debugging, karena pada saat kesalahan pertama muncul spesifikasi asli sudah kabur. Di sini spesifikasi tetap tersedia.
Verifikasi: PaperBench Code-Dev
Para penulis menguji pendekatan ini pada PaperBench Code-Dev — benchmark di mana agen harus mereproduksi kode berdasarkan artikel ilmiah. Hasilnya: skor rata-rata tertinggi di antara scaffold dengan backbone yang sama. Yang penting, efek ini teramati pada dua model dasar yang berbeda — Claude Sonnet 4.5 dan Gemini 3 Flash.
Arti istilah-istilah ini. Backbone — model dasar, "otak" agen. Scaffold — pembungkus di sekitarnya: aturan, memori, urutan langkah, alat. Perbandingan dengan backbone yang sama — cara yang tepat untuk menunjukkan bahwa keunggulan berasal dari arsitekturnya, bukan dari model yang lebih kuat. ReproAgent — justru merupakan kontribusi pada kelas scaffold.
Selain itu, para penulis melakukan ablasi per kanal: jika kanal persyaratan atau kanal bukti dimatikan, kualitas end-to-end menurun. Ditambah lagi analisis artikel-artikel tertentu yang memperlihatkan kontribusi masing-masing kanal pada contoh konkret. Kontrol ganda semacam ini — pengukuran umum plus analisis kualitatif — membuat kesimpulan lebih meyakinkan daripada satu angka dalam tabel.
Kode dan artefak eksperimen, menurut pernyataan para penulis, tersedia secara terbuka.
Apa yang berubah dalam praktik
Nilai karya ini bukan hanya pada hasil di benchmark, melainkan pada perumusan masalahnya sendiri. "Terpecah-pecahnya spesifikasi" — penjelasan yang tepat mengapa agen dengan percaya diri menulis kode yang tampak benar tetapi tidak mereproduksi hasil. Detail eksplisit hilang seiring memanjangnya lintasan, detail implisit tidak ada sejak awal.
Kontrak implementasi menawarkan jalan memutar: mengeluarkan kewajiban dari konteks yang rapuh ke objek terpisah yang kokoh dan merujuknya pada semua tahap, termasuk debugging. Pendekatan semacam ini tampak dapat dipindahkan — "persyaratan yang tercatat" serupa dapat berguna juga dalam tugas lain di mana agen perlu mempertahankan kondisi awal dalam waktu lama: migrasi, reproduksi infrastruktur, tugas rekayasa yang panjang.
Keterbatasannya juga jelas dari logika metode: kualitas kontrak bergantung langsung pada kualitas ekstraksi persyaratan dan pada seberapa cocok repositori terkait yang ditemukan. Jika tidak ada kode publik tentang topik tersebut, kanal bukti bekerja secara buta. Namun setidaknya satu tesis para penulis sudah terdengar meyakinkan saat ini: reproduktibilitas karya ilmiah adalah persoalan spesifikasi, bukan kecepatan generasi kode.
