Ringkasan spektral per halaman alih-alih sketsa umum: LOCKS dan pemilihan blok tanpa membaca kunci

20 September 202629 tampilan

Metode LOCKS menyimpan representasi berperingkat rendah yang terpisah untuk kunci setiap halaman konteks, sehingga penilaian kepentingan blok hanya bergantung pada ringkasan ini, dan kunci kandidat itu sendiri tidak dibaca. Pada tugas-tugas panjang, solusi ini menjaga kualitas mendekati cache penuh dengan mengakses sekitar 2% token dan penurunan latensi decoding yang signifikan.

Ringkasan spektral per halaman alih-alih sketsa umum: LOCKS dan pemilihan blok tanpa membaca kunci

Mengapa sketsa umum tidak berfungsi untuk halaman

Melayani model bahasa besar pada konteks panjang berbenturan dengan key-value (KV) cache. Cache dibaca seluruhnya pada setiap langkah decoding. Attention keys bersifat locally low-rank, meskipun globally high-rank. Sketsa low-rank tetap yang sama untuk semua halaman terbukti buta terhadap arah halaman.

Dengan ukuran summary yang sama, basis khusus halaman memberi peringkat halaman dan mempertahankan pembawa jauh lebih baik. Sketsa umum tidak melihat arah tersebut. Summary spektral per halaman menyelesaikan masalah ini.

Ringkasan spektral per halaman

LOCKS memberikan setiap halaman rank-r spectral summary tersendiri. Ringkasan bersifat residen: sepersepuluh cache pada r=8 dan seperdua puluh lima pada r=2. Metode ini merekonstruksi logit intra-halaman. Metode ini memperkirakan massa attention setiap halaman melalui log-sum-exp. Kemudian hanya memproses halaman teratas.

Elemen kunci:

  • Nama: Page-Local Compact Key Summaries for Efficient Long-Context Decoding.
  • Ringkasan: rank-r spectral summary untuk setiap halaman.
  • Residensi: sepersepuluh cache pada r=8, seperdua puluh lima pada r=2.
  • Rekonstruksi: logit intra-halaman.
  • Estimasi: massa attention halaman melalui log-sum-exp.
  • Seleksi: hanya halaman teratas.

Kesimpulan: ringkasan menempati sebagian kecil cache, tetapi mempertahankan ciri halaman. Seleksi halaman dilakukan berdasarkan data spektral.

Seleksi blok tanpa membaca key

Seleksi itu sendiri tidak membaca key atau value kandidat. Pemilihan hanya berdasarkan ringkasan spektral. Ringkasan dipindai sepenuhnya pada setiap langkah. Pembacaan KV per langkah turun 10–25 kali dalam rentang rank yang disebutkan.

Latensi decoding per token berkurang setengah. Pada 1M token di satu H200 NVL, percepatan mencapai 2.0× pada r=8. Ini perbandingan dengan dense attention. Seleksi tidak bergantung pada pembacaan key kandidat.

Kualitas pada tugas panjang

LOCKS mempertahankan kualitas pada beberapa jenis tugas. Pada long-document QA (LongBench-v1; Llama-3.1-8B) hasilnya tetap dalam selisih satu poin dari cache penuh. Pada retrieval-dense RULER metode ini mengikuti LSE-oracle tepat yang membaca setiap key, hingga budget terkecil sekalipun. Pada long-form reasoning (AIME26, MATH-500; Qwen3-4B) kualitas bertahan paling lama dalam mode budget kecil. Selektor dan kompresor penalaran berbasis eviction di sana tertinggal.

Pada budget 2048 token LOCKS menyamai kualitas agregat FullKV pada konteks 100K+ (GLM-4-9B-Chat-1M). Metode ini memproses 2% token.

KondisiHasil
Long-document QA (LongBench-v1; Llama-3.1-8B)dalam selisih satu poin dari cache penuh
Retrieval-dense RULERmengikuti LSE-oracle tepat hingga budget kecil
Long-form reasoning (AIME26, MATH-500; Qwen3-4B)mempertahankan kualitas paling lama pada budget kecil
Budget 2048 token, konteks 100K+ (GLM-4-9B-Chat-1M)menyamai FullKV, memproses 2% token

Kesimpulan: pada tugas-tugas yang disebutkan, pendekatan ini mempertahankan kualitas lebih lama daripada selektor dan kompresor berbasis eviction.

Penerapan dan kriteria pemilihan

Pendekatan ini tersedia sebagai plugin drop-in untuk vLLM tanpa modifikasi. Decoding batch berjalan dalam CUDA graph penuh. Tidak diperlukan modifikasi vLLM.

Kriteria pemilihan: konteks panjang, budget token terbatas, kebutuhan untuk mengurangi pembacaan KV dan latensi decoding. Jika tugas memerlukan seleksi blok tanpa membaca key kandidat, pendekatan ini cocok.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?
Berita

Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?

Studi ini menguji apakah menyertakan hukum fisika dalam model dinamika yang dapat dilatih memang sepadan: invarian yang diekstrak dari lintasan dan diubah ke bentuk kanonis melalui basis Gröbner hanya sedikit meningkatkan prediksi, tetapi sangat berguna untuk diagnosis—invarian ini dapat membantu menemukan kendala yang dilanggar dan mengidentifikasi parameter spesifik yang keliru.

10 November 2026
AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya
Berita

AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya

Framework ini mengevaluasi perilaku agen LLM bukan berdasarkan keputusan akhir, melainkan respons terhadap risiko di titik-titik penting: rangkaian pemanggilan alat dihentikan, lalu model harus melanjutkan penalaran dan tindakan, sementara panel juri LLM menilai deteksi risiko, karakter, dan keamanan langkah tersebut. Dalam 1.249 tugas yang dikumpulkan dari 157 rangkaian R-Judge, 20 model lebih sering melakukan tindakan tidak aman saat jalur aman tidak tersedia, dan penghapusan pengawasan sebelum eksekusi mengubah 52,3% kasus yang semula aman menjadi tidak aman.

10 November 2026
Memori reservoir Chern–Simons: dinamika konektivitas mandiri dan transfer densitas
Berita

Memori reservoir Chern–Simons: dinamika konektivitas mandiri dan transfer densitas

Artikel ini membahas bagaimana reservoir menyimpan riwayat sinyal masukan secara bersamaan dalam distribusi densitas dan derajat kebebasan geometris. Perbandingan empat mekanisme menunjukkan bahwa arus menciptakan komponen keterhubungan tersendiri yang mengubah respons densitas berikutnya, sementara penggunaan semua fitur yang terukur memberikan sedikit peningkatan dalam dekode urutan pulsa.

10 November 2026
Ringkasan spektral per halaman alih-alih sketsa umum: LOCKS dan pemilihan blok tanpa membaca kunci