content: Pengulangan Berinterval dengan Metode SuperMemo-2: Cara Melanjutkan Pelatihan Model Bahasa Tanpa Lupa
Ketika model bahasa besar terus dilatih pada data baru, model tersebut berisiko kehilangan pengetahuan yang sudah diperoleh. Fenomena ini akrab bagi siapa pun yang pernah mencoba melatih ulang jaringan saraf pada domain yang sempit: setelah beberapa langkah optimasi, model bisa "melupakan" pengetahuan umumnya. Cara klasik untuk mengurangi masalah ini adalah replay, yaitu mencampurkan contoh-contoh lama ke dalam set pelatihan. Namun biasanya replay semacam ini terlalu kasar: data lama dan baru hanya dicampur dalam proporsi tetap. Semua contoh lama dianggap sama pentingnya, padahal dalam praktiknya sebagian pengetahuan cepat hilang, sementara yang lain bertahan lama.
Para penulis makalah terbaru di arXiv (2608.17530) mengusulkan untuk memikirkan ulang continual pre-training sebagai tugas perencanaan pengulangan yang adaptif. Alih-alih memutuskan sekali berapa banyak data lama yang dicampurkan, model harus memilih pada setiap momen contoh mana yang akan dikembalikan ke pelatihan. Ini memungkinkan respons terhadap celah memori yang sebenarnya, bukan mengikuti jadwal statis.
Dari Kartu Hafalan ke Parameter Model
Ide ini dipinjam dari ilmu kognitif, tepatnya dari algoritma SuperMemo-2 (SM-2), yang telah digunakan selama puluhan tahun untuk merencanakan pengulangan berinterval dalam menghafal kartu. SM-2 memberi tahu kapan tepatnya sebuah kartu perlu ditampilkan agar pengetahuan menguat dan tidak hilang. Dalam metode baru bernama Spaced Repetition Training (SRT), prinsip ini diterapkan pada pelatihan jaringan saraf.
SRT mengelola status pengulangan tersendiri untuk setiap contoh pelatihan. Untuk memahami seberapa baik model masih mengingat sebuah contoh, digunakan perplexity — ukuran seberapa yakin model memprediksi data. Jika perplexity meningkat tajam, berarti contoh mulai dilupakan, dan contoh tersebut diberi prioritas tinggi untuk dimasukkan kembali ke pelatihan. Pendekatan ini memungkinkan pengembalian otomatis ke pelatihan baik untuk contoh "lama" yang dibutuhkan untuk mempertahankan pengetahuan, maupun contoh "baru" yang belum terkonsolidasi.
Penting untuk dicatat bahwa SRT tidak mengubah arsitektur model, fungsi loss, atau optimizer. Semua perubahan hanya menyangkut strategi pengambilan sampel data. Artinya, metode ini dapat diterapkan di atas proses pelatihan yang ada tanpa mengubah pipeline secara besar-besaran.
Apa yang Ditunjukkan Eksperimen
Metode ini diuji pada korpus Wikipedia dan kode yang terpisah secara temporal — yaitu data yang secara alami terbagi menjadi periode-periode. Hasilnya jauh lebih baik dibandingkan pelatihan ulang naif dan replay seragam. SRT memulihkan 5 hingga 37 poin persentase akurasi pada pengetahuan lama yang berhasil dihapus oleh pelatihan naif. Sementara itu, performa pada data baru tidak memburuk, dan dalam beberapa kasus bahkan meningkat.
Yang paling menarik adalah perilaku pada model besar: di sana SRT mempertahankan performa yang seimbang pada benchmark yang luas, sementara pelatihan ulang naif dan replay biasa menyebabkan degradasi yang signifikan. Ini menunjukkan bahwa perencanaan pengulangan menjadi semakin penting seiring bertambahnya skala model, ketika data dan langkah pelatihan semakin banyak.
Di Luar Bahasa
Menariknya, prinsip ini tidak hanya bekerja pada teks. Eksperimen dengan data visual dan tabel menunjukkan bahwa perencanaan pengulangan dapat diterapkan di mana pun sinyal recall dapat diukur, yaitu untuk memahami bahwa model melupakan contoh tertentu. Pada dasarnya ini adalah mekanisme universal untuk continual learning yang tidak terikat pada modalitas tertentu.
Kesimpulan utama dari penelitian ini adalah bahwa meninggalkan replay rata-rata demi jadwal pengulangan individual memberikan keuntungan nyata dalam keseimbangan stability-plasticity. Model terus belajar hal baru, tetapi "mengulang materi" tepat ketika mulai melupakannya. Pendekatan ini tampak sebagai langkah alami menuju pelatihan ulang model bahasa besar yang lebih bermakna.
