Tempat model difusi diskret
Model difusi denoising diskret (DDM) bekerja dengan data diskret. Model ini menjadi alternatif pemodelan autoregresif (AR). Alih-alih melanjutkan urutan langkah demi langkah, model menghasilkan secara paralel dan menyempurnakan hasil secara iteratif dan global.
Perbedaan utama dari difusi kontinu adalah susunan ruang keadaan. Dalam kasus kontinu, ruang bersifat tetap. Dalam kasus diskret, ruang dikonstruksi, dan konstruksi inilah yang menentukan generasi.
| Pendekatan | Mode generasi |
|---|---|
| Pemodelan autoregresif | Generasi berurutan |
| Difusi kontinu | Penyempurnaan iteratif pada ruang keadaan tetap |
| Difusi diskret | Generasi paralel dan penyempurnaan global iteratif |
Kriterianya sederhana. DDM dipilih ketika dibutuhkan generasi paralel dan penyempurnaan hasil secara global. Namun kualitas generasi semacam itu tidak hanya ditentukan oleh model itu sendiri.
Ruang keadaan: tiga komponen
Kerangka terpadu memandang difusi diskret melalui konstruksi ruang keadaan diskret yang mendasarinya. Konstruksi tersebut mencakup tiga elemen.
- Skema tokenisasi menentukan unit apa data dipecah.
- Topologi kosakata menentukan bagaimana unit-unit tersebut saling berhubungan.
- Alfabet struktural domain menetapkan unit dan hubungan yang spesifik untuk bidang tertentu.
Ketiga keputusan ini tidak sekadar pengaturan di atas model yang sudah jadi. Ketiganya menetapkan ruang tempat difusi berlangsung. Karena itu, tokenisasi dan generasi dibahas dalam satu kerangka, bukan secara terpisah.
Kriteria praktis: deskripsikan ruang keadaan terlebih dahulu, lalu pilih formulasi model.
Kerangka terpadu dan tiga formulasi
Formulasi difusi diskret yang ada ternyata merupakan instansiasi berbeda dari satu ruang solusi. Dalam kerangka ini ada tiga.
- Transition-matrix — formulasi melalui matriks transisi.
- Masking / absorbing-state — formulasi melalui masking dan keadaan penyerap.
- Score / ratio-based — formulasi melalui score dan rasio.
Kerangka ini menunjukkan bahwa ini bukan teori yang bersaing, melainkan varian dari satu konstruksi. Perbedaannya terletak pada cara penulisannya, sedangkan kesamaannya terletak pada ruang solusi yang menjadi acuannya.
Kriteria: membandingkan formulasi masuk akal dilakukan dalam satu kerangka. Pilihan di antara formulasi bersifat sekunder terhadap bagaimana ruang keadaan disusun.
Kompromi lintas aspek
Sumbu tempat keputusan saling terkait
Kerangka ini mengungkap kompromi umum pada beberapa sumbu sekaligus:
- tujuan pelatihan;
- algoritma inferensi;
- perilaku saat penskalaan;
- optimasi sistem;
- protokol evaluasi.
Sumbu-sumbu tersebut saling terkait. Keputusan tentang tujuan pelatihan membatasi pilihan algoritma inferensi. Optimasi sistem dan protokol evaluasi bergantung pada pilihan yang sama.
Cara menggunakannya
Perbandingan varian dilakukan pada semua sumbu sekaligus. Keunggulan pada satu sumbu tidak menghapus kebutuhan memeriksa sumbu lainnya. Kerangka ini juga menunjukkan arah penelitian selanjutnya.
Urutan keputusan
- Deskripsikan ruang keadaan: skema tokenisasi, topologi kosakata, alfabet struktural domain.
- Pilih formulasi dalam kerangka: matriks transisi, masking, score/ratio.
- Tetapkan tujuan pelatihan dan algoritma inferensi untuk konstruksi tersebut.
- Periksa keputusan pada semua sumbu: penskalaan, optimasi sistem, protokol evaluasi.
Kriteria pemilihan: jika konstruksi ruang keadaan tidak dideskripsikan, formulasi dan skema inferensi tidak dapat dijustifikasi. Kerangka ini dijelaskan dalam karya «Discrete Diffusion Models: A Unified Framework from Tokenization to Generation» (arXiv:2607.13431, v2 tanggal 25 Agustus 2026).
