MaRK: modulasi kontekstual parameter rekuren pada SSM pralatih

14 November 20262 tampilan

Pendekatan ini menyesuaikan operator rekuren dari model ruang-keadaan beku terhadap konteks melalui perubahan parameter berperingkat rendah, sehingga memengaruhi kernel «input—output» pada setiap langkah generasi. Perbandingan tiga geometri adaptor menunjukkan keunggulan polinomial Chebyshev dalam hal kesalahan validasi, sementara parameterisasi terbatas memungkinkan pemeriksaan stabilitas secara analitis.

MaRK: modulasi kontekstual parameter rekuren pada SSM pralatih

Tujuan dan inti MaRK

MaRK (Markov-adapted Recurrent Kernels) adalah framework untuk pengondisian operator secara dinamis. Framework ini memetakan vektor konteks menjadi modulasi operator rekuren yang terbatas.

  • Dalam representasi LPV-SSM, MaRK menetapkan keluarga sekuens parameter Markov yang dapat diindeks berdasarkan konteks.
  • Pendekatan ini dirancang untuk SSM pralatih.
  • Mekanisme pengondisian biasa membiarkan dinamika temporal dasar tetap tidak berubah. Mekanisme tersebut mencakup pemberian informasi pada masukan dan modulasi aktivasi.

Kriteria praktis: MaRK diperlukan ketika dinamika temporal SSM perlu diubah, bukan hanya data masukan atau aktivasinya.

Parameter SSM yang dimodulasi

MaRK memodulasi lima kelompok parameter SSM yang dibekukan:

  • A — rekuren;
  • B — pembacaan pada masukan;
  • C — pembacaan pada keluaran;
  • D — lewati;
  • Δ — diskretisasi.

Kriteria praktis: MaRK mengubah A, B, C, D, dan Δ. Jika tugas mengharuskan parameter-parameter tersebut diubah, pendekatan ini mencakupnya.

Adapter dan pelatihan dengan basis yang dibekukan

MaRK menggunakan model dasar Hydra SSM yang dibekukan dengan 111 juta parameter. Penelitian ini mencakup tiga geometri adapter:

  • Hypernet;
  • polinomial Chebyshev;
  • kernel Discrete Cosine Transform (DCT).

Adapter mengubah sekuens parameter Markov melalui pemetaan bantu berperingkat rendah. Model dasar tetap dibekukan.

Peralihan dari fungsi objektif dua arah ke mode difusi iteratif memerlukan 6,3–11 juta parameter bantu yang dapat dilatih. Kriteria praktis: hanya pemetaan bantu yang perlu dilatih, sedangkan SSM dasar tetap dibekukan.

Hasil eksperimen dan pemilihan geometri

Dalam eksperimen sintetis untuk pemulihan LPV dan diagnostik operator Markov, MaRK memulihkan operator temporal yang invarian terhadap koordinat dengan asumsi yang sesuai. Metode ini menghasilkan profil memori stabil yang berbeda-beda dan dikondisikan oleh langkah waktu.

Geometri adapterLoss validasi
Chebyshev2.55
DCT2.59
Hypernet3.77

Loss validasi terbaik di antara ketiga opsi adalah 2.55 untuk Chebyshev. DCT mencapai 2.59, sedangkan Hypernet mencapai 3.77. Kriteria praktis: jika berpatokan pada loss validasi dalam eksperimen yang dijelaskan, Chebyshev menghasilkan 2.55, DCT — 2.59, dan Hypernet — 3.77. Pemilihan geometri adapter memengaruhi hasil.

Stabilitas dan batas penggunaan

Parameterisasi rekuren yang dibatasi memberikan sertifikat analitis Affine Quadratic Stability untuk rekuren yang dimodulasi. MaRK dirancang untuk generasi iteratif dengan SSM pralatih. Setiap langkah difusi dapat mengubah kernel memori model masukan—keluaran.

Kriteria praktis: MaRK sesuai ketika diperlukan sertifikat analitis stabilitas dan perubahan kernel memori pada setiap langkah difusi.

Status publikasi dan versi

  • Penulis makalah: Syed Ibrahim Omer, Ginny Y. Wong, Xiangyu Zhao.
  • Artikel arXiv:2610.09092 berisi versi v1 tertanggal 6 Okt 2026.
  • Revisi terakhir — 18 Okt 2026 (versi v3).
  • Referensi jurnal mencantumkan NeurIPS 2026 Submission.

Kriteria praktis: referensi yang benar untuk hasil tersebut mencakup versi v3 tertanggal 18 Okt 2026 dan status NeurIPS 2026 Submission.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
B-PINN dan pergeseran kolider: penyebab, diagnosis, dan alternatif berbasis rantai
Berita

B-PINN dan pergeseran kolider: penyebab, diagnosis, dan alternatif berbasis rantai

Para penulis menunjukkan bahwa skema B-PINN yang umum digunakan, di mana parameter apriori independen dihubungkan melalui likelihood virtual dari residual persamaan diferensial, dapat secara sistematis menggeser estimasi posterior besaran fisik. Sebagai gantinya, mereka mengusulkan model rantai hierarkis dengan diskretisasi dinamika stokastik dan pengambilan sampel particle MCMC, serta memberikan kriteria untuk mendiagnosis keandalan pendekatan standar.

14 November 2026
Penyempurnaan model generatif gambar: mempertimbangkan preferensi dan kategori secara bersamaan
Berita

Penyempurnaan model generatif gambar: mempertimbangkan preferensi dan kategori secara bersamaan

Artikel ini menjelaskan metode pascapelatihan model text-to-image dalam domain terbuka, dengan sinyal preferensi manusia yang dilengkapi pemeriksaan berbasis rubrik terhadap kesesuaian dengan prompt dan sifat yang diinginkan. Hasilnya menunjukkan bahwa perataan berbobot atas reward kalah dari skema yang diusulkan, sementara dalam snapshot Arena, Flux2dev dan Ideogram-4 yang telah disempurnakan menunjukkan peningkatan Elo yang signifikan.

14 November 2026
Benchmark Zero2Repo: Batas kemampuan membangun proyek secara mandiri dari direktori kosong
Berita

Benchmark Zero2Repo: Batas kemampuan membangun proyek secara mandiri dari direktori kosong

Penelitian ini mengusulkan untuk mengevaluasi agen pemrograman pada seluruh proses pembangunan repositori: inputnya adalah spesifikasi, kontrak antarmuka, dan lingkungan kosong; evaluasinya menggunakan tes tersembunyi tanpa penilai LLM. Bahkan agen terkemuka jarang berhasil melewati semua pemeriksaan, dan sebagian besar kegagalan disebabkan oleh persyaratan tertentu yang terlewat.

13 November 2026
MaRK: modulasi kontekstual parameter rekuren pada SSM pralatih