LocalProp क्या बदलता है
LocalProp एक प्रशिक्षण प्रक्रिया है, जो मॉडल के वज़नों को स्थानीय रूप से अपडेट करती है। इसके लेखक इसकी तुलना पूरे मॉडल में ग्रेडिएंट के एंड-टू-एंड प्रसार से करते हैं। एंड-टू-एंड पास जैविक रूप से यथार्थवादी प्रशिक्षण के अनुरूप नहीं है। यह मेमोरी के लिहाज़ से भी अक्षम है। मस्तिष्क में प्रशिक्षण काफी हद तक स्थानीय होता है।
| मानदंड | ग्रेडिएंट का एंड-टू-एंड प्रसार | LocalProp |
|---|---|---|
| वज़नों का अपडेट | पूरे मॉडल में होता है | स्थानीय |
| जैविक यथार्थवाद | अनुरूप नहीं | मस्तिष्क में स्थानीय प्रशिक्षण पर आधारित |
| मेमोरी | अक्षम | GPU की पीक मेमोरी का केवल एक हिस्सा उपयोग होता है |
| नियंत्रण | कोई अलग पैरामीटर नहीं | संयुक्त रूप से ऑप्टिमाइज़ किए जाने वाले ब्लॉकों की संख्या |
निष्कर्ष: LocalProp एंड-टू-एंड पास की जगह स्थानीय अपडेट करता है। इससे मेमोरी पर दबाव कम होता है।
प्रशिक्षण के चरण
LocalProp «pre-training then fine-tuning» योजना का पालन करता है। चरण एक क्रम में व्यवस्थित होते हैं।
- I-JEPA पर प्री-ट्रेनिंग।
- वज़नों का स्थानीय अपडेट।
- Pruning।
- एक छोटा अंतिम फाइन-ट्यूनिंग चरण।
निष्कर्ष: यह योजना प्री-ट्रेनिंग, स्थानीय अपडेट, प्रूनिंग और अंतिम फाइन-ट्यूनिंग को जोड़ती है।
Pruning की भूमिका
Pruning प्रशिक्षण सिग्नल को ऊपरी ब्लॉकों से निचले ब्लॉकों तक पहुँचाता है। यह चरण केवल मॉडल को संकुचित करने तक सीमित नहीं है। यह प्रशिक्षण के दौरान ऊपरी और निचले ब्लॉकों को जोड़ता है। निष्कर्ष: LocalProp में pruning ब्लॉकों के बीच सिग्नल पहुँचाने वाले माध्यम की तरह काम करता है।
सटीकता और मेमोरी के बीच संतुलन
संयुक्त रूप से ऑप्टिमाइज़ किए जाने वाले ब्लॉकों की संख्या ग्रेडिएंट प्रसार की लंबाई तय करती है। लेखक इस लंबाई को एक व्यावहारिक पैरामीटर मानते हैं। यह पैरामीटर सटीकता और मेमोरी उपयोग के बीच संतुलन को नियंत्रित करता है।
- क्या बदलता है: ग्रेडिएंट प्रसार की लंबाई।
- यह किसे नियंत्रित करता है: सटीकता और मेमोरी के बीच संतुलन।
- इसका उपयोग कैसे होता है: संयुक्त रूप से ऑप्टिमाइज़ किए जाने वाले ब्लॉकों की संख्या के ज़रिए।
निष्कर्ष: ब्लॉकों की संख्या को समायोजित करने से संतुलन तय करने का एक तरीका मिलता है।
परिणाम और चयन का मानदंड
लेखकों ने कई डेटासेट पर प्रयोग किए। इनमें ImageNet सहित बड़े पैमाने के बेंचमार्क भी शामिल हैं। GPU की पीक मेमोरी का केवल एक हिस्सा उपयोग करते हुए LocalProp अच्छे परिणाम हासिल करता है। पाठ में सटीक अनुपात नहीं बताया गया है। व्यावहारिक मानदंड: जब एंड-टू-एंड बैकवर्ड पास GPU मेमोरी की सीमा तक पहुँचता है, तब LocalProp उपयुक्त है। संयुक्त रूप से ऑप्टिमाइज़ किए जाने वाले ब्लॉकों की संख्या से संतुलन को समायोजित किया जा सकता है।
