Apa yang diterima perute
Dalam model bahasa MoE, perute memilih pakar dan menetapkan bobot untuk mereka berdasarkan keadaan tersembunyi token. Namun, perute menggunakan informasi konteks yang terbatas.
Attention-Aware Routing (AAR) melengkapi sinyal ini dengan fitur temporal dan spektral. Fitur tersebut diekstrak dari jendela geser bobot perhatian.
- Perutean biasa mengandalkan keadaan tersembunyi token.
- AAR menambahkan fitur perhatian yang merangkum keadaan konteks secara terpisah dari keadaan tersembunyi.
Kriteria praktis: saat menganalisis pemilihan pakar, bedakan sinyal token dari ringkasan konteks tambahan.
Cara kerja AAR
AAR mendapatkan fitur temporal dan spektral dari jendela geser bobot perhatian. Dengan demikian, perute menggunakan sinyal konteks yang terpisah dari keadaan tersembunyi token.
Para penulis membiarkan transformer dasar tetap sepenuhnya beku dan hanya melatih parameter perutean. Hal ini memungkinkan perutean dipelajari sebagai satu-satunya variabel yang berubah.
Kriteria untuk mengevaluasi metode ini adalah memisahkan efek perutean dari perubahan pada parameter model lainnya.
Mengapa perutean mengubah perhatian
Perutean dan perhatian saling terhubung melalui urutan lapisan. Perubahan perutean pada lapisan l mengalir melalui aliran residual dan memperkuat attention sink pada lapisan l+1.
Hal ini mengubah perhatian tanpa memperbarui mekanismenya secara langsung. Artinya, pemilihan pakar dapat memengaruhi pemrosesan konteks selanjutnya.
Saat menelaah hasil, penting untuk memperhitungkan hubungan ini: perhatian di sini bukan hanya sinyal masukan bagi perute, tetapi juga bagian dari rangkaian konsekuensi perutean.
Apa yang ditunjukkan oleh hasil
Pada OLMoE, AAR meningkatkan skor GSM8K sebesar 3,37 poin persentase dibandingkan varian dasar SFT yang hanya menggunakan perutean.
| Metrik | Hasil AAR |
|---|---|
| GSM8K | +3,37 poin persentase dibandingkan varian dasar |
| Jawaban salah | Menjadi lebih pendek dalam generasi panjang yang menyimpang |
| Jawaban benar | Panjangnya tidak berubah |
Hasil ini menggambarkan evaluasi tertentu. Hasil tersebut tidak menunjukkan bahwa AAR memberikan pengaruh yang sama pada semua tugas.
Saat membandingkan varian, pertimbangkan hasil pada tugas dan panjang generasi secara terpisah: kedua metrik ini berubah dengan cara yang berbeda.
Mengapa penting menentukan lapisan tempat AAR diterapkan
Efek AAR bergantung pada kedalaman. Jika diterapkan tanpa pandang bulu pada berbagai lapisan, kualitas pengambilan informasi faktual dapat menurun.
Saat diterapkan pada lapisan yang lebih dalam, manfaatnya dalam penalaran matematis tetap terlihat. Hal ini menunjukkan adanya pertentangan antara pengambilan informasi dan penalaran pada kedalaman yang berbeda.
- Untuk mengevaluasi pengambilan informasi faktual, penting untuk memeriksa apakah penerapan AAR pada berbagai lapisan menurunkan kualitasnya.
- Untuk penalaran matematis, penting untuk mempertimbangkan hasil pada lapisan yang lebih dalam.
- Penerapan selektif memungkinkan kita meneliti informasi apa yang dibawa perhatian untuk perutean pada setiap kedalaman.
Kriteria praktisnya adalah mengevaluasi lapisan secara terpisah, bukan menganggap sinyal perhatian sama bergunanya di seluruh kedalaman model.
