जिस मिर्च से GPU जलते हैं
अभी कुछ समय पहले तक ऐसा लगता था कि आर्टिफिशियल इंटेलिजेंस के लिए चिप्स बनाना NVIDIA, Google या Amazon जैसे दिग्गजों का काम है। हालिया लीक को देखते हुए, अब ऐसा लगता है कि OpenAI भी इस क्लब में शामिल होने के लिए तैयार है। कोडनेम "हालापेनो" के तहत, कंपनी के इंजीनियर न्यूरल नेटवर्क इन्फ्रेंस के लिए बने अपने स्वयं के एक्सेलेरेटर का परीक्षण कर रहे हैं। बताया जा रहा है कि पहले नतीजे इतने सफल रहे हैं कि लैब के अंदर पहले से ही अपने डेटा-सेंटरों के लिए बड़े पैमाने पर बैचों की योजना बनाई जा रही है।
आमतौर पर, विशेष "हार्डवेयर" की घोषणाएं सम्मेलनों और सेमिनारों के दौरान होती हैं, लेकिन "हालापेनो" के परीक्षणों की जानकारी उद्योग मीडिया ने गुमनाम स्रोतों का हवाला देते हुए फैलाई। हालाँकि, पेटेंट गतिविधि और हार्डवेयर डिज़ाइन के क्षेत्र में OpenAI की खुली नौकरियों ने पहले ही संकेत दिया था कि अफवाहों के पीछे वास्तविक इंजीनियरिंग कार्य है।
चिप, जो OpenAI के भविष्य के लिए तैयार है
अपनी खुद की चिप विकसित करना तभी समझ में आता है जब आप अपने उत्पाद की सबसे महंगी कड़ी को अनुकूलित करना चाहते हैं। भाषा मॉडल के मामले में, यह इन्फ्रेंस है — वह क्षण जब हजारों उपयोगकर्ता एक साथ अनुरोध भेजते हैं। ऐसे每个 अनुरोध के लिए मैट्रिक्स गुणन के भारी मात्रा में संचालन की आवश्यकता होती है। आधुनिक GPU इस कार्य को प्रशिक्षण और आउटपुट दोनों के लिए समान रूप से अच्छी तरह से हल करते हैं, लेकिन प्रशिक्षण कभी-कभी होता है, जबकि आउटपुट लगातार होता है। इसका मतलब है, अब एक ऐसे उपकरण का समय आ गया है जो विशेष रूप से निरंतर लोड के लिए ट्यून किया गया हो।
"हालापेनो" एक सार्वभौमिक प्रोसेसर नहीं है। इस पर सामान्य एप्लिकेशन नहीं चलाए जा सकते, लेकिन न्यूरल नेटवर्क के काम के लिए यह पूरी तरह उपयुक्त है। इसकी वास्तुकला को विशेष कोर के एक सेट तक सरलीकृत किया गया है जो मुख्य रूप से मैट्रिक्स गुणन संचालन करते हैं और अटेंशन मैकेनिज्म को प्रोसेस करते हैं — जो ट्रांसफॉर्मर और बड़े भाषा मॉडल की नींव है।
मिर्च ही क्यों?
कंपनी के कर्मचारी परियोजनाओं को अनौपचारिक कोडनेम देना पसंद करते हैं। "हालापेनो" — एक तीखी मिर्च — बाजार को लाल करने की चिप की क्षमता का संकेत बन गया। डिवाइस का भोजन या मैक्सिकन व्यंजनों से, निश्चित रूप से, कोई संबंध नहीं है।
पहले परीक्षण: गति और बिजली की खपत
सबसे दिलचस्प डेटा अभी केवल दूसरों के कहने पर उपलब्ध है। स्रोतों के अनुसार, टेस्ट लोड पर प्रोटोटाइप अनुरोध प्रोसेसिंग गति में शीर्ष सर्वर एक्सेलेरेटर से कई गुना आगे है, लेकिन मुख्य उपलब्धि ऊर्जा दक्षता है। OpenAI की अपनी चिप प्रति वाट प्रदर्शन का कहीं बेहतर अनुपात दिखाती है।
यह कई तकनीकी समाधानों के माध्यम से हासिल किया गया है।
- कम-परिशुद्धता गणना। मॉडल के वज़न को गुणवत्ता में दृश्य गिरावट के बिना 8-बिट प्रारूप में संग्रहीत और संसाधित किया जा सकता है। चिप को शुरू से ही ऐसी गणनाओं के लिए डिज़ाइन किया गया था।
- छोटा पाइपलाइन। सभी निर्देश एक ही कार्य के अधीन हैं, इसलिए कोर अनावश्यक शाखाओं और संदर्भ स्विचिंग पर चक्र बर्बाद नहीं करते हैं।
- तेज़ मेमोरी। मॉडल के वज़न सीधे क्रिस्टल पर और कंप्यूटिंग ब्लॉक के बगल में स्थित होते हैं, और बड़े मॉडल के लिए बाहरी मेमोरी के साथ हाई-स्पीड संचार प्रदान किया जाता है।
अनौपचारिक आंकड़ों के अनुसार, पूर्ण लोड मोड में बिजली की खपत सामान्य-उद्देश्य वाले समाधानों की तुलना में काफी कम पाई गई। इसका मतलब है कि सर्वर बिजली और कूलिंग सिस्टम का विस्तार किए बिना अधिक अनुरोधों को संसाधित कर सकेंगे।
AI बाजार में क्या बदलेगा?
"हालापेनो" की सफलता विवर्तनिक बदलाव ला सकती है। टेक्स्ट जनरेशन और इमेज प्रोसेसिंग की लागत गिर जाएगी, जिससे API एक्सेस छोटे व्यवसायों के लिए सस्ता और अधिक सुलभ हो जाएगा। नए उत्पाद सामने आएंगे जो आज आर्थिक रूप से लाभदायक नहीं हैं: रीयल-टाइम में काम करने वाले व्यक्तिगत सहायक, बड़े पैमाने पर ऑडियो और वीडियो विश्लेषण, और यहां तक कि स्वायत्त एजेंट जो कार्यों की लंबी श्रृंखलाओं को निष्पादित करने में सक्षम हैं।
इसके अलावा, अपनी खुद की चिप क्लाउड प्रदाताओं के साथ OpenAI की सौदेबाजी की स्थिति को मजबूत करती है। कंपनी अपने प्लेटफॉर्म पर लोड का एक हिस्सा स्थानांतरित कर सकेगी। उपयोगकर्ताओं के लिए, यह कम विफलताओं और अधिक अनुमानित कीमतों में तब्दील होगा।
पर्यावरण के बारे में भी नहीं भूलना चाहिए: कम बिजली की खपत का मतलब पर्यावरण पर कम प्रभाव है। खासकर जब से डेटा-सेंटर पहले से ही वैश्विक कार्बन उत्सर्जन का एक महत्वपूर्ण हिस्सा हैं।
कुछ सवाल बाकी हैं
जैसा कि अक्सर बड़ी खबरों के साथ होता है, "हालापेनो" संदेह भी पैदा करता है। पहले सिलिकॉन नमूने प्रतिनिधि नहीं हो सकते हैं: श्रृंखला में, थर्मल सीमाओं और विशेषताओं के फैलाव के कारण क्लॉक स्पीड अक्सर कम हो जाती है। उत्पादन की लागत और ग्राहकों के लिए लक्ष्य मूल्य अज्ञात है — यदि यह अधिक हो जाता है, तो बिजली की बचत से कोई फायदा नहीं होगा।
लोकप्रिय फ्रेमवर्क के साथ चिप की संगतता भी सवालों के घेरे में है। अधिकांश कंपनियां उच्च-स्तरीय CUDA और PyTorch लाइब्रेरी के माध्यम से ग्राफिक्स एक्सेलेरेटर का उपयोग करती हैं, और कोड को नए प्लेटफॉर्म पर स्थानांतरित करने में समय लगता है। OpenAI, सबसे अधिक संभावना है, "हालापेनो" को अपने स्वयं के सॉफ्टवेयर स्टैक के साथ उपयोग करेगा, लेकिन चिप को तीसरे पक्ष के डेवलपर्स के लिए खुला बनाना है या नहीं — यह एक बड़ा सवाल है।
निष्कर्ष
पहली घंटी बज चुकी है: "हालापेनो" चिप के एक वास्तविक उत्पाद बनने की बहुत संभावना है, न कि केवल एक प्रायोगिक प्रोटोटाइप। फिलहाल यह केवल एक इंजीनियरिंग कहानी है जिसमें आधिकारिक विशिष्टताओं और रिलीज़ की तारीखों का अभाव है। लेकिन अगर परीक्षण के आंकड़ों की पुष्टि हो जाती है, तो AI हार्डवेयर समाधानों के बाजार को एक नए मजबूत खिलाड़ी का सामना करना पड़ेगा जो खेल के सामान्य नियमों को फिर से लिखने में सक्षम है। आधिकारिक बयानों और पहले नमूनों की प्रतीक्षा करते हैं।
