MaRK: पूर्व-प्रशिक्षित SSMs में पुनरावर्ती पैरामीटरों का संदर्भगत मॉड्यूलेशन
एक ऐसा तरीका प्रस्तावित किया गया है, जो निम्न-रैंक पैरामीटर परिवर्तनों के ज़रिए फ्रोज़न स्टेट स्पेस मॉडल के रिकरंट ऑपरेटर को संदर्भ के अनुसार अनुकूलित करता है और जनरेशन के हर चरण में «इनपुट—आउटपुट» कर्नेल को प्रभावित करता है। एडेप्टर की तीन ज्यामितियों की तुलना से पता चलता है कि वैलिडेशन त्रुटि के मामले में चेबीशेव बहुपद बेहतर हैं, जबकि सीमित पैरामीटरकरण स्थिरता की विश्लेषणात्मक जाँच की अनुमति देता है।

MaRK का उद्देश्य और सार
MaRK (Markov-adapted Recurrent Kernels) ऑपरेटरों के गतिशील कंडीशनिंग के लिए एक फ्रेमवर्क है। यह संदर्भ वेक्टरों को ऑपरेटरों की पुनरावृत्ति के सीमित मॉड्यूलेशन में रूपांतरित करता है।
- LPV-SSM निरूपण में, MaRK संदर्भ द्वारा अनुक्रमित मार्कोव पैरामीटर अनुक्रमों का एक परिवार निर्धारित करता है।
- यह दृष्टिकोण पूर्व-प्रशिक्षित SSM के लिए बनाया गया है।
- सामान्य कंडीशनिंग तंत्र अंतर्निहित समयगत गतिशीलता को अपरिवर्तित रखते हैं। इनमें इनपुट पर जानकारी देना और सक्रियताओं का मॉड्यूलेशन शामिल है।
व्यावहारिक मानदंड: MaRK तब उपयोगी है, जब केवल इनपुट डेटा या सक्रियताओं को नहीं, बल्कि SSM की समयगत गतिशीलता को बदलना हो।
SSM के कौन-से पैरामीटर मॉड्यूलेट किए जाते हैं
MaRK, फ़्रीज़ किए गए SSM के पैरामीटरों के पाँच समूहों को मॉड्यूलेट करता है:
- A — पुनरावृत्ति;
- B — इनपुट पर रीडआउट;
- C — आउटपुट पर रीडआउट;
- D — स्किप;
- Δ — विविक्तीकरण।
व्यावहारिक मानदंड: MaRK, A, B, C, D और Δ को बदलता है। यदि किसी कार्य में इन पैरामीटरों को बदलना आवश्यक है, तो यह दृष्टिकोण उन्हें कवर करता है।
एडैप्टर और फ़्रीज़ किए गए आधार पर प्रशिक्षण
MaRK, 111 मिलियन पैरामीटर वाले फ़्रीज़ किए गए आधार मॉडल Hydra SSM पर निर्भर करता है। अध्ययन में एडैप्टर की तीन ज्यामितियों का परीक्षण किया गया है:
- Hypernet;
- Chebyshev बहुपद;
- Discrete Cosine Transform (DCT) कर्नेल।
एडैप्टर सहायक लो-रैंक मैपिंग के माध्यम से मार्कोव पैरामीटर अनुक्रम को बदलते हैं। आधार मॉडल फ़्रीज़ रहता है।
द्विदिशात्मक उद्देश्य फ़ंक्शन से पुनरावृत्त विसरण मोड में जाने के लिए 6.3–11 मिलियन प्रशिक्षित किए जा सकने वाले सहायक पैरामीटरों की आवश्यकता होती है। व्यावहारिक मानदंड: केवल सहायक मैपिंग को प्रशिक्षित करना होता है, जबकि आधार SSM को फ़्रीज़ रखा जाता है।
प्रयोगों के परिणाम और ज्यामिति का चयन
LPV पुनर्निर्माण और मार्कोव ऑपरेटर निदान के कृत्रिम प्रयोगों में, MaRK समान मान्यताओं के अंतर्गत निर्देशांक-अपरिवर्तनीय समयगत ऑपरेटरों का पुनर्निर्माण करता है। यह विधि समय-चरण के अनुसार अलग-अलग स्थिर स्मृति प्रोफ़ाइल बनाती है।
| एडैप्टर की ज्यामिति | सत्यापन हानि |
|---|---|
| Chebyshev | 2.55 |
| DCT | 2.59 |
| Hypernet | 3.77 |
तीनों विकल्पों में सबसे कम सत्यापन हानि Chebyshev की 2.55 है। DCT का परिणाम 2.59 और Hypernet का 3.77 रहा। व्यावहारिक मानदंड: यदि वर्णित प्रयोगों की सत्यापन हानि के आधार पर चयन करें, तो Chebyshev ने 2.55, DCT ने 2.59 और Hypernet ने 3.77 का परिणाम दिया। एडैप्टर की ज्यामिति का चयन नतीजे को प्रभावित करता है।
स्थिरता और प्रयोज्यता की सीमाएँ
पुनरावृत्ति का सीमित पैरामीटरीकरण, मॉड्यूलेट की गई पुनरावृत्ति के लिए Affine Quadratic Stability का विश्लेषणात्मक प्रमाणपत्र प्रदान करता है। MaRK को पूर्व-प्रशिक्षित SSM के साथ पुनरावृत्त जनन के लिए बनाया गया है। विसरण का हर चरण मॉडल के «इनपुट—आउटपुट» स्मृति कर्नेल को बदल सकता है।
व्यावहारिक मानदंड: MaRK तब उपयुक्त है, जब स्थिरता का विश्लेषणात्मक प्रमाणपत्र और विसरण के हर चरण पर स्मृति कर्नेल में बदलाव आवश्यक हो।
प्रकाशन की स्थिति और संस्करण
- शोधपत्र के लेखक: Syed Ibrahim Omer, Ginny Y. Wong, Xiangyu Zhao।
- arXiv लेख 2610.09092 में 6 Oct 2026 का संस्करण v1 शामिल है।
- नवीनतम संशोधन 18 Oct 2026 का है (संस्करण v3)।
- जर्नल संदर्भ में NeurIPS 2026 Submission दिया गया है।
व्यावहारिक मानदंड: परिणामों के सही संदर्भ में 18 Oct 2026 का संस्करण v3 और NeurIPS 2026 Submission की स्थिति शामिल है।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
FedPix: फ़ेडरेटेड लर्निंग में डेटा लीक कम करने के लिए क्लाइंट से संपीड़ित छवियों का स्थानांतरण
यह लेख इस बात की पड़ताल करता है कि क्लाइंट को सर्वर पर कौन-सी जानकारी भेजने की अनुमति दी जानी चाहिए, और मॉडल वज़न या मध्यवर्ती निरूपणों के बजाय छोटे, दृश्य रूप से जाँचे जा सकने वाले चित्रों का प्रसारण प्रशिक्षित करने का प्रस्ताव देता है। BloodMNIST, CIFAR-10, FashionMNIST और MNIST पर यह तरीका पुनर्निर्माण में कम PSNR दिखाता है और 65,63–99,18% सटीकता के साथ क्लाइंट का समय 96,0% तक घटाता है।
15 नवम्बर 2026
B-PINN और कोलाइडर विस्थापन: कारण, निदान और चेन विकल्प
लेखक दिखाते हैं कि B-PINN की प्रचलित योजना, जिसमें स्वतंत्र पूर्वानुमानित पैरामीटरों को अवकल समीकरणों के अवशेषों के आभासी प्रायिकता फलनों के माध्यम से जोड़ा जाता है, भौतिक राशियों के पश्च-वितरण अनुमानों को व्यवस्थित रूप से पक्षपाती कर सकती है। इसके बजाय, वे स्टोकेस्टिक गतिकी के विविक्तीकरण और particle MCMC सैंपलिंग के साथ एक पदानुक्रमित श्रृंखला मॉडल प्रस्तावित करते हैं, साथ ही मानक दृष्टिकोण की विश्वसनीयता के निदान के लिए मानदंड भी देते हैं।
14 नवम्बर 2026
जनरेटिव इमेज मॉडल का फ़ाइन-ट्यूनिंग: प्राथमिकताओं और श्रेणियों पर संयुक्त विचार
यह लेख खुले डोमेन में text-to-image मॉडलों की पोस्ट-ट्रेनिंग की एक विधि का वर्णन करता है, जिसमें मानवीय प्राथमिकताओं के संकेत को प्रॉम्प्ट के अनुरूपता और वांछित गुणों की रूब्रिक-आधारित जाँचों से पूरक किया जाता है। परिणामों से पता चलता है कि पुरस्कारों का भारित औसत प्रस्तावित योजना से कमतर है, जबकि Arena के स्नैपशॉट में फ़ाइन-ट्यून किए गए Flux2dev और Ideogram-4 का Elo स्कोर उल्लेखनीय रूप से बढ़ा हुआ दिखता है।
14 नवम्बर 2026