Mengapa ringkasan blok mungkin tidak cukup
Perutean residual tingkat blok menjadikan agregasi koneksi residual yang dapat dipelajari praktis: router mengandalkan ringkasan blok. Setiap ringkasan memadatkan urutan pembaruan attention dan MLP yang berurutan menjadi satu vektor kumulatif.
- Ringkasan mempertahankan kontribusi total blok.
- Ringkasan tidak menggambarkan lintasan pembaruan di dalam blok.
Kriteria praktis: jika sinyal kasar tentang pergerakan aliran residual di dalam blok penting, satu ringkasan kumulatif mungkin tidak cukup.
Cara HAARES menambahkan sinyal intra-blok
HAARES adalah router basis residual yang diusulkan dalam karya Kehan Wang, arXiv:2606.06564. HAARES mempertahankan sumber kumulatif blok dan menambahkan basis detail dengan pemisahan dua bagian.
- Basis detail dihitung sebagai selisih pembaruan aliran residual pada paruh pertama dan paruh kedua blok.
- Basis diselaraskan berdasarkan RMS dan diperbarui secara online.
- Router memperoleh informasi kasar tentang lintasan intra-blok tanpa perutean padat pada tingkat sublapisan.
Kriteria praktis: HAARES menggabungkan sumber kumulatif dengan satu sinyal detail tambahan, alih-alih merutekan setiap sublapisan secara terpisah.
Di mana efeknya terlihat dalam eksperimen
Eksperimen mencakup OpenWebText, benchmark karakter lintas domain, dan OpenWebText dengan tokenisasi BPE. Hasilnya bergantung pada kedalaman model.
| Kondisi | Pengamatan |
|---|---|
| Kedalaman kecil | Peningkatannya kecil atau ambigu |
| Model dengan 48 lapisan | Efeknya paling stabil |
| Konfigurasi 201M dengan 48 lapisan | HAARES mengungguli Block AttnRes pada ketiga seed |
| Uji coba 453M dengan dua seed | Hasilnya menunjukkan arah yang sama |
Ablasi menunjukkan bahwa efeknya tidak dapat dijelaskan oleh duplikasi sumber, detail tanda acak, atau bias tetap pada sumber detail. Efeknya juga tidak dapat dijelaskan hanya oleh perubahan jumlah blok.
Kriteria praktis: hasilnya memberikan argumen yang lebih kuat untuk metode ini pada model dengan 48 lapisan dibandingkan pada model dengan kedalaman kecil.
Biaya yang perlu diperhitungkan
Analisis biaya mencatat FLOPs tambahan yang rendah, tetapi biaya waktu tidak nol. Metode ini menambah biaya memori dan perutean.
- Biaya aritmetika relatif teramortisasi seiring bertambahnya lebar model.
- Konvergensi yang lebih dini dapat mengurangi waktu yang dibutuhkan untuk mencapai hasil yang ditargetkan.
Kriteria praktis: HAARES sebaiknya dievaluasi dengan mempertimbangkan bukan hanya FLOPs, tetapi juga memori, perutean, dan waktu konvergensi.
