Berita
Metode GoldiMask untuk fine-tuning model bahasa difusi: pemilihan konteks dan pembobotan target
Karya ini memperkenalkan GoldiMask—pendekatan supervised fine-tuning untuk model bahasa dengan difusi diskret, yang memilih token yang terlihat melalui maksimisasi aproksimatif fungsi submodular dan menetapkan bobot pada target yang tersisa berdasarkan kegunaannya dalam pelatihan. Eksperimen pada beberapa model dan dataset menunjukkan peningkatan akurasi rata-rata, peningkatan pada tugas penalaran dan pemrograman, serta lebih sedikit iterasi decoding paralel pada GSM8K dan MATH-500 dengan kualitas yang sebanding.
