Anyscale

Anyscale एक प्रबंधित मंच है जो आपको सर्वर क्लस्टर को मैन्युअल रूप से कॉन्फ़िगर और बनाए रखने के लिए बिना पाइथन अनुप्रयोगों और मशीन लर्निंग कार्यों को वितरित करने देता है। यह सेवा ओपन सोर्स रे फ्रेमवर्क पर बनाई गई है, जिसका उपयोग कई वर्षों तक पाइथन में समानांतर कंप्यूटिंग के लिए किया गया है। Anyscale सभी बुनियादी ढांचे को संभालता है: नोड निर्माण, लोड संतुलन, स्मृति आवंटन, और निगरानी, डेवलपर को सिर्फ कोड के साथ छोड़ दें।

उत्पाद उन टीमों के लिए एक समाधान के रूप में स्थित है जिन्हें प्रोटोटाइप से लेकर प्रोडक्शन तक जल्दी बढ़ने की आवश्यकता है। यदि आपका स्थानीय कोड रे के साथ लिखा गया है, तो लगभग कुछ भी नहीं है कि वह किसी भी पैमाने पर जाने के लिए फिर से लिखा जाए - मंच मौजूदा तर्क को चुनता है और स्वचालित रूप से इसे उपलब्ध संसाधनों में वितरित करता है। फोकस बड़े भाषा मॉडल और उदार एआई के साथ काम करने पर है पूर्व-निर्मित समापन बिंदुओं से ठीक-ट्यूनिंग और चल रही उपस्थिति सहित।

Anyscale विशेषताएं

कौन क्या है?

डेटा इंजीनियर्स और डेटा वैज्ञानिकों

Anyscale सूट पेशेवरों जो दैनिक बड़े डेटा वॉल्यूम के साथ काम करते हैं और अक्सर एक मशीन की सीमा को हिट करते हैं। मंच आपको DevOps उपकरण जानने या जटिल क्लस्टर प्रबंधन कोड लिखने की आवश्यकता के बिना दर्जनों या सैकड़ों नोड्स में डेटा प्रोसेसिंग को स्केल करने देता है।

एमएल इंजीनियर्स और शोधकर्ताओं

उन प्रशिक्षण मॉडलों के लिए - क्लासिक ग्रेडिएंट से बड़े ट्रांसफॉर्मर को बढ़ावा देने के लिए - मंच GPUs/CPUs में कम्प्यूट का स्वचालित वितरण प्रदान करता है। यह प्रयोग समय में कटौती करता है और यह चिंता किए बिना कि स्थानीय कार्य केंद्र या सस्ते उदाहरणों में पर्याप्त संसाधन हैं।

उत्पाद टीम और स्टार्टअप

Anyscale जल्दी उत्पादन करने के लिए एआई कार्यक्षमता को जहाज करने की आवश्यकता को कवर करता है। एक समर्पित SRE को काम पर रखने या महंगे बुनियादी ढांचे के लिए भुगतान करने के बजाय कि वास्तव में कोई भी प्रशासन करने का समय नहीं है, टीम तैयार-निर्मित अनुमान समापन बिंदुओं का उपयोग कर सकती है। यह उन्हें संचालन के बजाय व्यावसायिक तर्क पर ध्यान केंद्रित करने देता है।

Anyscale का उपयोग कैसे करें

रे कोड तैयार करना

पहला कदम रे पुस्तकालयों (उदाहरण के लिए,) का उपयोग करके पायथन एप्लिकेशन लिख रहा है। ray.remote वितरित कार्यों के लिए). यदि कोड पहले से ही स्थानीय रूप से चलता है, तो इसे सिर्फ प्रकाश अनुकूलन की आवश्यकता होती है: रे एपीआई के साथ स्थानीय निष्पादक को प्रतिस्थापित करें। इस प्रक्रिया को मंच प्रलेखन में वर्णित किया गया है और आमतौर पर कुछ घंटों से अधिक नहीं लगता है।

मंच की तैनाती

इसके बाद, आप Anyscale कंसोल या CLI के माध्यम से तैनात हैं। आप निर्दिष्ट करते हैं कि किस छवि या निर्भरता की आवश्यकता है, और मंच स्वचालित रूप से पर्यावरण बनाता है। क्लस्टर स्टार्टअप लगभग तत्काल है: किसी भी पैमाने पर नोड्स आवंटित करता है, उन्हें असफलताओं पर पुनरारंभ करता है, और वर्तमान भार के लिए संसाधन गणना को अनुकूलित करता है।

अंत बिंदुओं के माध्यम से अनिश्चितता चल रहा है

जेनरेटिव एआई और प्री-बिल्ड मॉडल के साथ काम करने के लिए, Anyscale सर्वर-साइड एंडपॉइंट निर्माण प्रदान करता है। प्रशिक्षण के बाद, आप बस एक आरईएसटी एपीआई के रूप में मॉडल प्रकाशित करते हैं, और यह किसी भी एप्लिकेशन से कॉल करने योग्य हो जाता है। मंच स्वचालित रूप से बढ़ती यातायात को संभालने के लिए समापन बिंदुओं को मापता है।

मुख्य विशेषताएं

स्वचालित संसाधन प्रबंधन

प्लेटफ़ॉर्म यह निर्धारित करता है कि किसी भी समय कितने नोड्स की आवश्यकता होती है और क्लस्टर को शून्य से सैकड़ों मशीनों तक पहुंचाता है। जब लोड ड्रॉप, संसाधनों को स्वचालित रूप से जारी किया जाता है, निष्क्रिय क्षमता के लिए ओवरपेमेंट को रोकने के लिए।

Ready-made inference समापन बिंदु

Anyscale आपको वेब फ्रेमवर्क, डॉकर कंटेनर या लोड बैलेंसर को कॉन्फ़िगर किए बिना एपीआई सेवा के रूप में उत्पादन के लिए एक मॉडल को जल्दी से तैनात करने देता है। रे सेवा के साथ एकीकरण सभी मॉडलों में प्रक्रिया मानक बनाता है।

बड़े पैमाने पर प्रशिक्षण समर्थन

मंच बड़े भाषा मॉडल प्रशिक्षण के लिए बनाया गया है। यह दर्जनों GPU के समूहों में प्रशिक्षण प्रक्रिया को वितरित करता है, चेकपॉइंट को सही ढंग से संभालता है और नोड विफलताओं से ठीक हो जाता है।

रे पारिस्थितिकी तंत्र समर्थन

चूंकि Anyscale "wrapped" रे है, उपयोगकर्ताओं को सभी ढांचे के पुस्तकालयों तक पहुंच मिलती है: हाइपरपैरामीटर ट्यूनिंग के लिए रे ट्यून, डेटासेट प्रोसेसिंग के लिए रे डेटा, और मॉडल प्रशिक्षण के लिए रे ट्रेन। यह सभी गणना कार्यों के लिए एक एकल प्रविष्टि बिंदु प्रदान करता है।

Anyscale फायदे

कोई मैनुअल DevOps

मुख्य लाभ बुनियादी ढांचा प्रबंधन की पूरी अनुपस्थिति है। कोई Kubernetes सेटअप नहीं हैं, SSH नोड्स तक पहुंच, या स्मृति रिसाव निगरानी। यह सब संभालती है , और डेवलपर्स केवल काम के माहौल को देखते हैं।

पुनर्लेखन कोड के बिना स्केलेबिलिटी

रे के लिए धन्यवाद, अनुप्रयोग लगभग स्रोत कोड में कोई बदलाव नहीं कर सकते हैं। 200 नोड क्लस्टर पर जारी किए बिना एक एकल लैपटॉप रन पर क्या दौड़ा।

फास्ट स्टार्टअप

मंच मिनटों में एक कामकाजी क्लस्टर को स्पिन कर सकता है। यह सर्वर आवंटन के लिए इंतजार किए बिना यातायात स्पाइक या तत्काल प्रशिक्षण रनों को संभालने के लिए महत्वपूर्ण है।

अंतर्निहित निगरानी और लॉगिंग

Anyscale क्लस्टर स्वास्थ्य पर नज़र रखने के लिए उपकरण प्रदान करता है। आप सीपीयू / जीपीयू लोड ग्राफ़, लॉग त्रुटियों और कार्य निष्पादन समय - सभी को एक एकल कंसोल में देखते हैं।

किसी भी पैमाने पर सीमाएं

लॉक-इन एक विशिष्ट तकनीकी स्टैक के लिए

मंच विशेष रूप से पायथन और रे फ्रेमवर्क के लिए बनाया गया है। यदि किसी परियोजना को अन्य भाषाओं (जैसे गो, जावा, या सी ++) की आवश्यकता होती है तो, एकीकरण या तो असंभव या अत्यंत कठिन हो जाता है।

पैमाने पर लागत

कोई फ्लैट शुल्क नहीं है - मूल्य निर्धारण खपत संसाधनों पर आधारित है। निरंतर उच्च भार के तहत (उदाहरण के लिए, 100 जीपीयू पर 24 / 7 inference), बिल सीधे समर्पित सर्वर किराए पर लेने की लागत से अधिक हो सकता है।

रे लर्निंग वक्र

जबकि रे एमएल समुदाय में लोकप्रिय है, नवागंतुकों को अपने प्रतिमान (अभिनेता, कार्य, दूरस्थ कार्य) जानने का समय चाहिए। एक ही मशीन पर चलने वाली सरल स्क्रिप्ट के लिए, यह अतिकुशल है।

Anyscale किस समस्या को हल करता है?

मंच द्वारा कवर प्रमुख परिदृश्यों में शामिल हैं:

• एमएल मॉडल प्रशिक्षण: छोटे प्रयोगों से लेकर बड़े भाषा मॉडलों (एलएलएम) को समूहों पर स्मृति के सैकड़ों गीगाबाइट की आवश्यकता होती है।
• बैच डेटा प्रोसेसिंग: ETL प्रक्रियाओं को समांतरित करना और एकल-थ्रेडेड मोड की तुलना में terabyte-scale datasets को बहुत तेजी से बदल देना।
• रीयल-टाइम inference: उच्च थ्रूपुट के साथ उपयोगकर्ता अनुप्रयोगों से अनुरोधों की सेवा के लिए प्रशिक्षित मॉडल को एंडपॉइंट के रूप में प्रकाशित करना।
• Compute-intensive workloadsकिसी भी वितरित पायथन ML से संबंधित कार्य, जैसे अनुकरण, छवि प्रसंस्करण, या परीक्षण स्वचालन।

किसी भी पैमाने पर मूल्य निर्धारण

विशिष्ट सदस्यता मूल्य निर्धारण आंकड़े प्रदान किए गए स्रोत डेटा में उपलब्ध नहीं हैं। वितरण मॉडल का भुगतान किया जाना जाता है। मंच एक भुगतान-आप-go दृष्टिकोण का उपयोग करता है, जहां अंतिम बिल भुगतान संसाधनों की मात्रा (vCPUs, मेमोरी और GPU घंटों की संख्या) पर आधारित है। वर्तमान मूल्य सूची के लिए, प्रदाता की आधिकारिक वेबसाइट या वाणिज्यिक प्रलेखन को देखें।

उपयोग की शर्तें

Anyscale को अनिवार्य खाता पंजीकरण के साथ एक वाणिज्यिक लाइसेंस के तहत पेश किया जाता है। मंच एक क्लाउड तैनाती मॉडल का उपयोग करता है: सभी कम्प्यूटिंग प्रदाता के सर्वर पर होती है। उपयोगकर्ता कॉर्पोरेट अनुबंध के बिना अपने स्वयं के हार्डवेयर पर एक पूर्ण फीचर्ड संस्करण को डाउनलोड और तैनात नहीं कर सकते हैं। शर्तों में मानक डेटा प्रोसेसिंग नीतियों और सेवा स्तर के समझौते (SLA) शामिल हैं, जो सेवा के आधिकारिक दस्तावेज़ीकरण में विस्तृत हैं।

Anyscale उपलब्धता

सेवा SaaS के रूप में वितरित की जाती है, जिसका अर्थ है आपको वेब ब्राउज़र और एक स्थिर इंटरनेट कनेक्शन की आवश्यकता है। Anyscale एक वेब इंटरफ़ेस और CLI उपकरण के माध्यम से उपलब्ध है। व्यक्तिगत कंप्यूटर के लिए कोई ऑफ़लाइन संस्करण या स्थानीय स्थापना पैकेज नहीं हैं। प्लेटफॉर्म सार्वजनिक क्लाउड डेटा केंद्रों पर चलता है, इसलिए इसका उपयोग नेटवर्क एक्सेस के साथ कहीं से भी किया जा सकता है।

Anyscale विकल्प से कैसे भिन्न होता है

अमूर्तता का स्तर

Kubernetes या AWS बैच के विपरीत, Anyscale पायथन अनुप्रयोग स्तर पर काम करता है। आपको डॉकर छवियों को प्रकट करने या कॉन्फ़िगर करने की आवश्यकता नहीं है। रे के साथ लिखे गए प्लेटफॉर्म "sees" कोड और इसे समांतरित करने के लिए अपने तरीके पर फैसला करता है।

एमएल के साथ लंबवत एकीकरण

अधिकांश क्लाउड प्रदाता पाइपलाइन उपकरण (एयरफ्लो, कुबेफ्लो) प्रदान करते हैं, लेकिन किसी भी पैमाने पर मॉडल लाइफसाइकल के लिए उद्देश्य से बनाया गया है। हाइपरपैरामीटर ट्यूनिंग से समापन बिंदु तैनाती तक, पूरे जीवन चक्र को एक मंच के भीतर मानकीकृत किया जाता है - कुछ सामान्य उद्देश्य प्रणालियों की कमी।

SRE की आवश्यकता नहीं

विकल्प (जैसे एक स्व-प्रबंधित Kubernetes क्लस्टर) को निरंतर ओवरसाइट और ट्यूनिंग की आवश्यकता होती है। Anyscale सिर्फ संसाधनों को बेचता है लेकिन एक सेवा के रूप में कोड निष्पादन को प्रबंधित करता है, जो नाटकीय रूप से छोटी टीमों के लिए स्वामित्व की कुल लागत को कम करता है। तुलना करके, अधिकांश IaaS प्रदाता उपयोगकर्ता पर निगरानी और गलती-सहिष्णुता जिम्मेदारियों को स्थानांतरित करते हैं।

निष्कर्ष

Anyscale पाइथन स्टैक पर टीमों के लिए एक व्यावहारिक समाधान है जो मैन्युअल रूप से सर्वर समूहों को प्रबंधित करना चाहते हैं। मंच प्रभावी रूप से वितरित प्रशिक्षण, बैच प्रसंस्करण और कम विलंबता inference को शामिल करता है, विशेष रूप से बड़ी भाषा मॉडल के साथ। मुख्य सीमाएं रे पारिस्थितिकी तंत्र में लॉक-इन हैं और खपत संसाधनों के आधार पर परिवर्तनीय मूल्य निर्धारण के साथ एक भुगतान मॉडल हैं। फिर भी, उन लोगों के लिए जो पहले से ही रे का उपयोग करते हैं या इससे माइग्रेट करने की इच्छा रखते हैं, Anyscale काफी कम हो जाता है। वितरित कंप्यूटिंग में प्रवेश करने के लिए बाधा।