Masalah: Konteks Panjang Terbentur Memori
Semakin banyak teks yang diberikan ke model sebagai input, semakin berat baginya untuk memproses setiap prompt baru. Pendekatan klasik in-context learning mengharuskan model untuk "membaca ulang" seluruh konteks pada setiap permintaan. Ini berarti waktu respons dan konsumsi memori GPU sama-sama meningkat seiring bertambahnya panjang teks input. Dalam praktiknya, hal ini sudah terasa pada puluhan ribu token, dan pada 128K token, sumber daya digunakan dengan sangat tidak efisien.
Lebih buruk lagi, transformer biasa memiliki jendela konteks bawaan, di luar batas tersebut kualitasnya menurun drastis. Bahkan jika model secara formal menerima input yang panjang, model mulai "melupakan" detail dari bagian tengah teks. Hal ini paling terlihat jelas pada tugas-tugas seperti needle-in-a-haystack, ketika perlu menemukan satu fakta penting dalam volume informasi yang besar.
Ide MoNe: Memindahkan Konteks ke Memori Terpisah
Metode MoNe (Modular Neural Memory) mengusulkan untuk menghilangkan ketergantungan langsung antara panjang konteks dan biaya permintaan. Ini adalah memori neural modular yang ringan, yang terhubung ke model transformer yang sudah jadi dan dibekukan. Model dasar tidak perlu dilatih ulang — cukup menambahkan modul eksternal yang menangani pekerjaan dengan konteks.
Trik utamanya terletak pada bagaimana memori tersebut disusun. MoNe memproses teks input tidak secara keseluruhan, melainkan dalam segmen-segmen dengan ukuran tetap. Di dalam modul, digunakan jaringan fast weights — jaringan ini dilatih langsung pada tahap pengujian, memperbarui parameternya dengan gradien lokal di tingkat lapisan. Ini terdengar rumit, tetapi pada dasarnya berarti: memori beradaptasi dengan teks tertentu tanpa mengganggu bobot model utama.
Arsitektur Dua Fase: Pemrosesan Awal Terpisah, Permintaan Terpisah
Inferensi dibagi menjadi dua tahap independen. Pada tahap pertama, dilakukan pemrosesan awal: model membaca konteks per segmen, membentuk kunci dan nilai dari segmen tersebut, dan menyimpannya di memori eksternal. Tahap ini bersifat linear — biayanya meningkat sebanding dengan panjang teks, tetapi ini adalah operasi satu kali.
Pada tahap kedua — ketika permintaan datang — memori tidak lagi mengakses konteks asli. Sebagai gantinya, memori menghasilkan kunci dan nilai hanya dari token permintaan. Token konteks tidak dibaca ulang, yang berarti waktu respons sama sekali tidak bergantung pada panjang teks asli. Secara formal, ini dinyatakan sebagai O(N) untuk pemrosesan awal dan O(1) untuk permintaan, di mana N adalah panjang konteks.
Berkat pemisahan ini, penggunaan puncak memori GPU berhenti meningkat seiring bertambahnya N. Ini adalah keunggulan penting: bahkan dengan konteks yang sangat panjang, model tidak mencoba menahan semua token input secara bersamaan dalam memori.
Apa Manfaatnya dalam Praktik
Para peneliti menguji pendekatan ini pada benchmark RULER, yang mencakup skenario "jarum dalam tumpukan jerami" dan ekstraksi kata-kata tertentu. Di sinilah in-context learning standar terdegradasi secara signifikan seiring bertambahnya panjang konteks. Sebaliknya, MoNe menunjukkan hasil yang stabil dan mampu menggeneralisasi ke panjang yang jauh melebihi jendela bawaan model dasar.
Efisiensi juga perlu ditekankan secara khusus. Saat bekerja dengan 128K token, MoNe mengurangi biaya komputasi dan memori GPU puncak sekitar 80% dibandingkan dengan ICL biasa. Sementara itu, parameter tambahan modul hanya 6.4% — artinya biaya overhead memori untuk menyimpan model itu sendiri sangat minim.
Kesimpulan
MoNe adalah pandangan baru tentang masalah konteks panjang. Alih-alih meningkatkan daya komputasi atau merancang mekanisme perhatian yang rumit, para peneliti mengusulkan untuk memindahkan pekerjaan dengan konteks ke modul terpisah. Modul ini tidak memerlukan pelatihan ulang transformer, menambahkan sedikit parameter, tetapi membuat respons terhadap permintaan konstan dalam waktu dan tidak membiarkan memori puncak tumbuh seiring dengan teks.
Saat ini ini adalah pracetak di arXiv dari kelompok peneliti internasional. Namun arahnya terlihat menjanjikan: jika metode ini terkonfirmasi pada spektrum tugas yang lebih luas, metode ini dapat menjadi cara praktis untuk mengubah model beku biasa menjadi sistem yang nyaman bekerja dengan dokumen yang sangat panjang tanpa perubahan serius pada arsitekturnya.
