Fragmentasi token dalam transformer multimodal: kapan atensi mempertahankan kontribusi representasi
Studi ini menyelidiki kondisi ketika pemecahan representasi input menjadi lebih banyak elemen tidak mengubah kontribusinya, dengan tetap mempertahankan konten, posisi, konteks yang terlihat, dan massa total. Untuk kernel perhatian positif dengan pengali massa lokal yang tidak menurun, invariansi hanya tercapai jika pengali tersebut linear; pada Qwen2.5-Omni-7B dan benchmark video, pembobotan massa mengurangi drift dan meningkatkan akurasi saat kompresi.
Simetri penyempurnaan: apa yang diuji oleh prinsip ini
Jumlah bobot perhatian bergantung pada jumlah token. Perubahan representasi sinyal mengubah jumlah ini. Artinya, pemecahan input memengaruhi mekanisme perhatian.
Artikel «Refinement Symmetry in Multimodal Transformers» (Yuhao Du, Shunian Chen) diajukan pada 26 September 2026. Artikel ini memperkenalkan simetri penyempurnaan sebagai syarat untuk mempertahankan kontribusi.
Pembagian representasi mempertahankan kontribusi jika empat sifat berikut tetap terjaga:
- konten;
- posisi;
- konteks yang terlihat;
- massa total.
Kriteria praktis: sebelum mengubah segmentasi token, periksa keempat sifat ini. Hilangnya satu saja membuat kontribusi tidak lagi terjamin.
Linearitas pengali massa lokal
Para penulis bertumpu pada perhatian proporsional dan perhatian kuadratur. Kesimpulan mereka: invariansi terhadap pembagian mensyaratkan pengali massa lokal yang linear. Syarat ini berlaku untuk kernel perhatian positif tetap apa pun. Pengalinya juga tidak menurun.
Persyaratan ini menghasilkan tiga hal yang perlu diperiksa:
- pengali nonlinier mengubah kontribusi saat terjadi pemecahan;
- linearitas mempertahankan kontribusi;
- sifat tidak menurun mempersempit skema yang dapat diterima.
Kriteria praktis: periksa linearitas skema pembobotan sebelum melakukan pemecahan. Nonlinearitas menandakan bahwa hasilnya akan berubah.
Konjugasi fisik dan batas galat perhatian
Untuk representasi yang diubah, konjugasi fisik dapat digunakan. Konjugasi ini membatasi galat perhatian. Batas tersebut memisahkan dua sumber:
- perubahan fitur;
- redistribusi bobot.
Kriteria praktis: analisis kedua sumber secara terpisah. Dengan begitu, terlihat apa yang perlu diperbaiki—fitur atau bobot.
Uji pada Qwen2.5-Omni-7B: jawaban MVBench
Pada Qwen2.5-Omni-7B, pelipatan tiga kali lipat pada separuh token visual mengubah 255 dari 3 586 jawaban di MVBench. Ini adalah hasil dari perhatian standar. Pembobotan berdasarkan ukuran mempertahankan setiap jawaban. Visibilitasnya tetap sebanding.
| Skema | Jawaban yang berubah | Visibilitas |
|---|---|---|
| Perhatian standar | 255 dari 3 586 | — |
| Pembobotan berdasarkan ukuran | tidak ada | sebanding |
Kesimpulan: perbedaan muncul bukan karena pemecahan itu sendiri, melainkan karena cara massa diperhitungkan.
Kriteria praktis: saat memecah token visual, beralihlah ke pembobotan berdasarkan ukuran. Cara ini mempertahankan jawaban dengan konteks terlihat yang sama.
Pengambilan sampel ulang bingkai dan pergeseran distribusi
Dalam pengambilan sampel ulang bingkai secara alami, pembobotan berdasarkan ukuran mengurangi pergeseran distribusi. Efeknya lebih luas daripada sekadar mempertahankan jawaban tertentu.
Kriteria praktis: saat mengubah frekuensi bingkai, pantau pergeseran distribusi, bukan hanya akurasi. Pembobotan berdasarkan ukuran menguranginya.
Kompresi video: peningkatan yang terukur
Evaluasi dilakukan dengan penggabungan dua kali lipat pada pengodean video yang dibekukan. Lima nilai awal acak digunakan. Peningkatan akurasi bernilai positif untuk semua pembagian.
| Skema dasar | Peningkatan akurasi |
|---|---|
| Pembobotan global berdasarkan jumlah token (massa rata-rata kelompok) | 1,04 poin persentase |
| Perhatian standar | 0,93 poin persentase |
Keunggulan dibandingkan pembobotan global berdasarkan jumlah token juga terlihat pada WorldSense. Besarnya bergantung pada anggaran kompresi.
Kriteria praktis: saat melakukan kompresi video yang kuat, perhatikan anggarannya. Peningkatan dari pembobotan berdasarkan ukuran tidak selalu sama.
Apa yang ditawarkan prinsip representasi
Para penulis mengajukan hasil ini sebagai prinsip representasi dengan peningkatan terukur dalam ketahanan terhadap pembagian. Ini bukan tentang perbaikan sesaat, melainkan aturan untuk menangani pemecahan.
Kriteria praktis: tetapkan representasi dan massanya terlebih dahulu, lalu sesuaikan bobot. Dengan begitu, pemecahan tidak lagi mengubah jawaban.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
LLM Medis Mengetahui Revisi Pedoman, tetapi Sering Menjawab Berdasarkan Pedoman Lama
Studi ChronoEvo terhadap 1709 perubahan rekomendasi klinis menunjukkan: pada model utama, 90,8% jawaban mencatat pembaruan, tetapi hanya 58,5% yang menerapkannya sepenuhnya, sementara kesenjangan sebesar 32,3 poin persentase tetap terlihat pada 14 model. Bahkan peningkatan visibilitas pembaruan tidak menghasilkan peningkatan signifikan dalam penerapan penuh aturan baru ke dalam rekomendasi klinis.
4 November 2026
Model dunia untuk agen berbasis LLM tertutup: koreksi pada titik risiko
PAWM diusulkan sebagai prediktor eksternal yang tidak menduplikasi observasi langkah demi langkah, tetapi aktif saat kegagalan mungkin terjadi dan mengarahkan agen menjauhi tindakan yang keliru. Setelah SFT pada skenario sintetis dan pelatihan bersama GRPO, metode ini menghasilkan peningkatan 24,3% di ScienceWorld dan 7,7% di WebArena-Lite untuk Claude Sonnet 4.5.
4 November 2026
Lapisan klasifikasi di atas SpeechLLM: keunggulannya dibandingkan pembuatan label dalam pengenalan emosi
Dengan menggunakan dataset IEMOCAP dan MELD, keluaran generatif berupa label emosi dibandingkan dengan pengklasifikasi linear yang diterapkan pada representasi tersembunyi SpeechLLM yang ringkas. Peningkatan kualitas dari pengklasifikasi ini tidak berlaku universal: hasilnya bergantung pada korpus dan apakah yang digunakan adalah transkrip acuan atau hasil ASR.
4 November 2026