ब्लॉक-स्तरीय सारांश पर्याप्त क्यों नहीं हो सकता
Block-level residual routing, अवशिष्ट कनेक्शनों का प्रशिक्षित एग्रीगेशन व्यावहारिक बनाता है: राउटर ब्लॉक के सारांशों पर निर्भर करता है। हर सारांश, अटेंशन और MLP के अपडेटों के क्रमबद्ध अनुक्रम को एक संचयी वेक्टर में समेटता है।
- सारांश ब्लॉक के कुल योगदान को बनाए रखता है।
- यह ब्लॉक के भीतर अपडेटों की प्रगति का वर्णन नहीं करता।
व्यावहारिक कसौटी: यदि ब्लॉक के भीतर अवशिष्ट प्रवाह की दिशा का मोटा संकेत महत्वपूर्ण है, तो केवल एक संचयी सारांश पर्याप्त नहीं हो सकता।
HAARES ब्लॉक के भीतर का संकेत कैसे जोड़ता है
HAARES एक अवशिष्ट-बेसिस राउटर है, जिसे Kehan Wang के शोधपत्र arXiv:2606.06564 में प्रस्तावित किया गया है। यह ब्लॉक के संचयी स्रोत को बनाए रखता है और आधे-आधे विभाजन वाला एक विवरण बेसिस जोड़ता है।
- विवरण बेसिस की गणना ब्लॉक के पहले और दूसरे आधे हिस्से में अवशिष्ट प्रवाह के अपडेटों के अंतर से की जाती है।
- बेसिस का RMS के अनुसार मिलान किया जाता है और इसे ऑनलाइन अपडेट किया जाता है।
- राउटर को उप-लेयर स्तर पर सघन रूटिंग के बिना, ब्लॉक के भीतर की प्रगति की मोटी जानकारी मिलती है।
व्यावहारिक कसौटी: HAARES हर उप-लेयर को अलग से रूट करने के बजाय, संचयी स्रोत के साथ एक अतिरिक्त विवरण संकेत जोड़ता है।
प्रयोगों में प्रभाव कहाँ दिखा
प्रयोगों में OpenWebText, अलग-अलग डोमेन के अक्षर-स्तरीय बेंचमार्क और BPE टोकनाइज़ेशन वाला OpenWebText शामिल था। परिणाम मॉडल की गहराई पर निर्भर था।
| स्थिति | अवलोकन |
|---|---|
| कम गहराई | लाभ छोटा या अस्पष्ट है |
| 48-लेयर वाले मॉडल | प्रभाव सबसे अधिक स्थिर है |
| 48 लेयर वाला 201M कॉन्फ़िगरेशन | HAARES तीनों सीड पर Block AttnRes से बेहतर प्रदर्शन करता है |
| दो सीड वाला 453M परीक्षण | परिणाम इसी दिशा को दर्शाता है |
एब्लेशन से पता चलता है कि प्रभाव की व्याख्या स्रोतों की नकल, यादृच्छिक चिह्न वाले विवरणों या विवरण स्रोतों के नियत ऑफ़सेट से नहीं की जा सकती। इसकी व्याख्या केवल ब्लॉकों की संख्या में बदलाव से भी नहीं की जा सकती।
व्यावहारिक कसौटी: परिणाम कम गहराई वाले मॉडलों की तुलना में 48-लेयर वाले मॉडलों के लिए विधि के पक्ष में अधिक मजबूत तर्क देते हैं।
किन लागतों को ध्यान में रखें
लागत विश्लेषण में अतिरिक्त FLOPs कम बताए गए हैं, लेकिन समय की लागत शून्य नहीं है। इस विधि से मेमोरी और रूटिंग का खर्च बढ़ता है।
- मॉडल की चौड़ाई बढ़ने के साथ सापेक्ष गणनात्मक लागत कम होती जाती है।
- तेज़ कन्वर्जेन्स से लक्षित परिणाम तक पहुँचने का समय घट सकता है।
व्यावहारिक कसौटी: HAARES का मूल्यांकन करते समय केवल FLOPs ही नहीं, बल्कि मेमोरी, रूटिंग और कन्वर्जेन्स के समय को भी ध्यान में रखें।
