राउटर को क्या मिलता है
MoE भाषा मॉडल में राउटर टोकन की हिडन स्टेट के आधार पर विशेषज्ञों का चयन करता है और उन्हें वज़न देता है। इस दौरान वह सीमित संदर्भ जानकारी का उपयोग करता है।
Attention-Aware Routing (AAR) इस संकेत में समय-संबंधी और स्पेक्ट्रल विशेषताएँ जोड़ता है। इन्हें अटेंशन वज़न की एक स्लाइडिंग विंडो से निकाला जाता है।
- सामान्य रूटिंग टोकन की हिडन स्टेट पर निर्भर करती है।
- AAR अटेंशन की ऐसी विशेषताएँ जोड़ता है, जो हिडन स्टेट से अलग संदर्भ स्थिति का सार प्रस्तुत करती हैं।
व्यावहारिक कसौटी: विशेषज्ञों के चयन का विश्लेषण करते समय टोकन के संकेत और संदर्भ के अतिरिक्त सारांश के बीच अंतर करना चाहिए।
AAR कैसे काम करता है
AAR अटेंशन वज़न की स्लाइडिंग विंडो से समय-संबंधी और स्पेक्ट्रल विशेषताएँ प्राप्त करता है। इससे राउटर टोकन की हिडन स्टेट से अलग संदर्भ संकेत का उपयोग करता है।
लेखक बुनियादी ट्रांसफ़ॉर्मर को पूरी तरह फ़्रीज़ रखते हैं और केवल रूटिंग पैरामीटर को प्रशिक्षित करते हैं। इससे रूटिंग का अध्ययन एकमात्र बदले जाने वाले चर के रूप में किया जा सकता है।
किसी विधि का मूल्यांकन करने की कसौटी यह है कि रूटिंग के प्रभाव को मॉडल के बाकी पैरामीटर में हुए बदलावों से अलग रखा जाए।
रूटिंग अटेंशन को क्यों बदलती है
रूटिंग और अटेंशन, लेयरों के अनुक्रम के ज़रिए एक-दूसरे से जुड़े हैं। l लेयर पर रूटिंग में हुए बदलाव रेज़िडुअल स्ट्रीम से गुज़रते हैं और l+1 लेयर पर अटेंशन सिंक को बढ़ाते हैं।
इससे अटेंशन का तंत्र सीधे अपडेट हुए बिना ही अटेंशन बदल जाता है। इसका मतलब है कि विशेषज्ञों का चयन संदर्भ की आगे की प्रोसेसिंग को प्रभावित कर सकता है।
नतीजों का विश्लेषण करते समय इस संबंध को ध्यान में रखना ज़रूरी है: यहाँ अटेंशन सिर्फ़ राउटर के लिए इनपुट संकेत नहीं है, बल्कि रूटिंग के परिणामों की श्रृंखला का भी हिस्सा है।
नतीजों से क्या पता चला
OLMoE पर AAR ने केवल रूटिंग वाले बुनियादी SFT वेरिएंट की तुलना में GSM8K का स्कोर 3,37 प्रतिशत अंक बढ़ाया।
| मापदंड | AAR का परिणाम |
|---|---|
| GSM8K | बुनियादी वेरिएंट की तुलना में +3,37 प्रतिशत अंक |
| ग़लत उत्तर | लंबी और अलग-अलग दिशाओं में जाने वाली जनरेशन में छोटे हो गए |
| सही उत्तर | लंबाई में कोई बदलाव नहीं हुआ |
ये नतीजे एक विशिष्ट मूल्यांकन का वर्णन करते हैं। इनसे यह साबित नहीं होता कि AAR सभी कार्यों पर एक जैसा असर डालता है।
वेरिएंट की तुलना करते समय कार्य पर मिले नतीजे और जनरेशन की लंबाई को अलग-अलग देखना चाहिए: इन मापदंडों में अलग-अलग तरह के बदलाव हुए।
AAR को किन लेयरों पर लागू करना है, यह क्यों महत्वपूर्ण है
AAR का प्रभाव गहराई पर निर्भर करता है। अलग-अलग लेयरों पर इसे बिना भेदभाव लागू करने से तथ्यों के पुनर्प्राप्ति की गुणवत्ता घट सकती है।
ज़्यादा गहरी लेयरों पर लागू करने पर गणितीय तर्क में इसके लाभ बने रहते हैं। इससे अलग-अलग गहराइयों पर जानकारी पुनर्प्राप्त करने और तर्क करने के बीच का टकराव सामने आता है।
- तथ्यों की पुनर्प्राप्ति का मूल्यांकन करते समय यह जाँचना महत्वपूर्ण है कि अलग-अलग लेयरों पर AAR लागू करने से इसकी गुणवत्ता तो नहीं घटती।
- गणितीय तर्क के लिए ज़्यादा गहरी लेयरों पर मिले नतीजों को ध्यान में रखना महत्वपूर्ण है।
- चयनित लेयरों पर लागू करने से यह पता लगाया जा सकता है कि हर गहराई पर अटेंशन रूटिंग के लिए कौन-सी जानकारी देता है।
व्यावहारिक कसौटी यह है कि लेयरों का अलग-अलग मूल्यांकन किया जाए, न कि यह माना जाए कि मॉडल की हर गहराई पर अटेंशन संकेत समान रूप से उपयोगी है।
