Unsloth

तंत्रिका नेटवर्क Unsloth का विवरण

Unsloth एक खुला स्रोत फ्रेमवर्क बनाया गया ट्यूटोरियल बड़े भाषाई मॉडल है। उसका। मुख्य कार्य मानक उपकरणों की तुलना में अधिक तेज़ और अधिक किफायती होने की प्रक्रिया करना है। पूरी तरह से मॉडल के सभी भार को अद्यतन करने के बजाय, ढांचा LoRA और QLoRA विधियों का उपयोग करता है, जो भत्ता आवश्यकताओं को काफी कम करता है वीडियो मेमोरी और कंप्यूटिंग संसाधनों.

Unsloth आर्किटेक्चर में अनुकूलित कस्टम कोर लिखा ट्राइटन और HIP शामिल हैं। ये कोर गणना को गति देते हैं। GPU पर और स्मृति की खपत को कम। रूपरेखा की सुविधा - सॉफ्टवेयर परत के माध्यम से AMD ग्राफिक्स कार्ड के लिए आधिकारिक समर्थन। यह Unsloth को सबसे समान लोगों के अलावा सेट करता है। निर्णय वे विशेष रूप से NVIDIA CUDA पारिस्थितिकी तंत्र पर केंद्रित हैं।

ढांचा कार्य करता है। ऑपरेटिंग लिनक्स और विंडोज सिस्टम में। विंडोज WSL सबसिस्टम के लिए इस्तेमाल किया। स्थापना टर्मिनल में एक टीम चलाती है, और इंस्टॉलर स्वचालित रूप से सभी निर्भरता को कॉन्फ़िगर करता है, जिसमें PyTorch ROCm बनाता है।

Unsloth की विशेषताएं

किसके लिए Unsloth तंत्रिका नेटवर्क उपयुक्त है?

AMD GPU के साथ डेवलपर्स

उपकरण मुख्य रूप से उत्साही और डेवलपर्स के लिए डिज़ाइन किया गया है। एएमडी उपकरण यह कैसे पेशेवर बूस्टर अच्छी तरह से उपभोक्ता Radeon से संबंधित है। पहले स्थानीय जुर्माना-ट्यूनिंग अनुकूलन सॉफ्टवेयर की कमी के कारण मानचित्र मुश्किल थे।

लैपटॉप और कॉम्पैक्ट सिस्टम के उपयोगकर्ता

RDNA 3.5 आर्किटेक्चर के लिए समर्थन Ryzen AI 300 प्रोसेसर और Strix Halo प्लेटफार्मों में मौजूद एम्बेडेड AMD ग्राफिक्स के साथ नोटबुक पर संभावना मॉडलिंग खुलता है। यह उन लोगों के लिए प्रवेश की सीमा को कम कर देता है जिनके लिए पावरलेस असतत वीडियो कार्ड हैं।

प्रशिक्षण विशेषज्ञ प्रबलित

जीआरपीओ विधि के समर्थन के साथ, Unsloth सीखने के कार्यों के लिए उपयुक्त है। सुदृढीकरण पर जो ढांचे के दायरे को बढ़ाता है वह शास्त्रीय पर्यवेक्षकीय ठीक ट्यूनिंग से परे है।

Unsloth तंत्रिका नेटवर्क का उपयोग कैसे करें?

लिनक्स और मैक ओएस

स्थापना प्रक्रिया को कम किया जाता है टर्मिनल में एक कमांड को निष्पादित करने के लिए:

curl -fsSL https://unsloth.ai/install.sh | sh

इंस्टॉलर स्वचालित रूप से सिस्टम के विन्यास को निर्धारित करेगा और सभी आवश्यक घटकों को स्थापित करेगा। PyTorch और दूसरों की लत के ROCm विधानसभाओं सहित।

विंडोज पर स्थापना

विंडोज उपयोगकर्ताओं के पास PowerShell के माध्यम से एक इंस्टॉलर है। चूंकि ढांचा आवश्यक WSL उपप्रणाली के माध्यम से काम करता है इसलिए इस कार्य को सिस्टम में सक्रिय किया गया है।

कार्य प्रारंभ

स्थापना के बाद, उपयोगकर्ता 500 से अधिक पूर्वस्थापित मॉडलों में से एक को डाउनलोड कर सकता है और अनुवर्ती कार्रवाई कर सकता है। फ्रेमवर्क का समर्थन करता है कि कैसे शास्त्रीय आग-ट्यूनिंग अच्छी तरह से और QLoRA के माध्यम से 4-बिट क्वांटाइजेशन के साथ काम करते हैं।

बुनियादी कार्य

शिक्षण विधियों का समर्थन

Unsloth सीखने के लिए कई दृष्टिकोण का समर्थन करता है: SFT (SFT) एक शिक्षक, लोरा (अनुकूलन) कम रैंकिंग के साथ सीखना। प्रशिक्षण भी GRPO विधि का उपयोग करके सुदृढीकरण पर उपलब्ध है।

AMD उपकरण के साथ संगतता

फ्रेमवर्क आधिकारिक तौर पर आरओसीएम के माध्यम से एएमडी जीपीयू का समर्थन करता है। Triton और HIP पर अनुकूलित कोर तेजी से कंप्यूटिंग प्रदान करते हैं। समर्थन वास्तुकला की एक विस्तृत श्रृंखला के लिए उपलब्ध है, उपभोक्ता RDNA 2 से सर्वर CDNA 4 तक।

Inference and deplo

Beyond learning Unsloth पूर्व प्रशिक्षित मॉडलों की पुष्टि और स्थानीय तैनाती के लिए अवसर प्रदान करता है जो इसे LLM के साथ काम करने के लिए एक सार्वभौमिक उपकरण बनाता है। स्वयं के उपकरण।

Unsloth के लाभ

स्मृति और समय की बचत

AMD Unsloth तेजी से 1.39 गुना तक चलता है और 1.33 गुना कम स्मृति का उपभोग करता है। FlashAttention 2. के साथ मानक उपकरण TRL के साथ प्रशिक्षण के लिए 3 जीबी वीडियो मेमोरी से पर्याप्त है जो महत्वपूर्ण रूप से आवश्यकताओं को कम करता है आयरन।

स्थापना और उपयोग में आसानी

स्थापना एकल टीम एक महत्वपूर्ण लाभ है। उपयोगकर्ता को मैन्युअल रूप से ROCm को कॉन्फ़िगर करने की आवश्यकता नहीं है। PyTorch निर्भरता और अन्य घटक। लिनक्स के बराबर विंडोज समर्थन एक व्यापक दर्शकों के लिए उपलब्ध उपकरण बनाता है।

आधिकारिक AMD समर्थन

Unsloth AMD के सहयोग से जारी किया गया था। नई GPU आर्किटेक्चर के लिए उच्च गुणवत्ता वाले अनुकूलन और समय पर अद्यतन सुनिश्चित करें। यह पहला लोकप्रिय एलएलएम प्रशिक्षण उपकरण है। जो उपभोक्ता Radeon और Ryzen AI पर प्रकाश शुरू होता है।

Unsloth के नुकसान

सीमा उपकरण

RX 6000 RDNA 2 ग्राफिक्स कार्ड के लिए समर्थन सीमित है और केवल लिनक्स पर उपलब्ध है। इसके लिए ROCm संस्करण 6.0 या बाद में भी आवश्यकता होती है। पुराने सॉफ्टवेयर वातावरण के मालिकों के लिए क्या बाधा हो सकती है।

अनुपस्थिति कुछ प्रौद्योगिकी

FlashAttention 2 के बजाय AMD Xformers पर उपलब्ध नहीं है। यह लागू होता है। गणना की गति पर कुछ सीमाएं यह विंडोज पर भी समर्थन नहीं है। एकाधिक जीपीयू के साथ मिलकर काम करना।

अभिविन्यास नए उपकरण

आधुनिक विशेषताएं नवीनतम आर्किटेक्चर पर केंद्रित हैं - RDNA 4, RDNA 3.5 और CDNA 3-4। पुराने मालिकों वीडियो कार्ड आंशिक पूर्ण असंगति पर सामना कर सकते हैं।

Unsloth क्या काम करता है?

उपकरण एएमडी उपकरणों पर स्थानीयकरण भाषाई मॉडल के लिए लागू होता है। यह उस ढांचे का मुख्य उद्देश्य है जिसके लिए इसे बनाया गया था। इसके अलावा, Unsloth सुदृढीकरण सीखने का समर्थन करता है - GRPO विधि के लिए धन्यवाद, मॉडल को वातावरण में प्रशिक्षित किया जा सकता है। इनाम पर। आगे प्रशिक्षण के बाद रूपरेखा आपको क्लाउड सेवाओं के संदर्भ में स्थानीय रूप से मॉडल को लागू करने और तैनात करने की अनुमति देती है।

Unsloth कीमतें

Unsloth एक खुला स्रोत उपकरण है। यह फैल रहा है। नि: शुल्क, और किसी भी भुगतान के बारे में जानकारी किसी भी स्तर की सेवा के लिए कोई शुल्क नहीं है।

Unsloth के उपयोग की शर्तें

फ्रेमवर्क को एएमडी से एक जीपीयू की आवश्यकता होती है जिसमें आरओसीएम 6.0 या बाद में समर्थन होता है। यदि ग्राफिक्स कार्ड आर्किटेक्चर RDNA 2 (उदाहरण के लिए RX 6000) का इस्तेमाल किया जाता है, तो ऑपरेटिंग रूम Linux समर्थित है। आवश्यक। इसलिए उपयोगकर्ता के पास कमांड के साथ काम करने में बुनियादी कौशल है लाइन और टर्मिनल। विंडोज अनिवार्य है। सक्रियण WSL उपप्रणाली।

Unsloth उपलब्धता

उपकरण पूरी तरह से मुक्त है और इसमें एक खुला संदर्भ कोड है। समर्थित ऑपरेटिंग लिनक्स और विंडोज (WSL के माध्यम से)। क्षेत्रीय प्रतिबंध उल्लेखित नहीं है - सेवा किसी भी देश से उपयोगकर्ताओं के लिए उपलब्ध है। परियोजना का स्रोत कोड गिटहब पर पोस्ट किया गया है जहां उन्होंने 68,000 से अधिक सितारों को इकट्ठा किया, यह समुदाय की उच्च लोकप्रियता और गतिविधि को दर्शाता है।

जो एनालॉग्स से Unsloth को अलग करता है

अभिविन्यास AMD

Unsloth और मानक उपकरणों के बीच मुख्य अंतर - आधिकारिक सरल और अनुकूलित AMD GPU ROCm के माध्यम से समर्थन करते हैं। अधिकांश एनालॉग्स विशेष रूप से NVIDIA CUDA पर उन्मुख हैं जो LLM ठीक ट्यूनिंग के लिए Radeon गुणवत्ता सॉफ्टवेयर के बिना Radeon कार्डधारकों को छोड़ देता है।

उपकरणों की लागत

एएमडी ग्राफिक्स कार्ड के साथ काम करने के लिए धन्यवाद, Unsloth आपको एनवीआईडीआईए उत्पादों की तुलना में सस्ते रेडॉन अधिक वीडियो मेमोरी प्रति डॉलर पर फिनिंग करने की अनुमति देता है। यह निजी उपयोगकर्ता को अधिक सुलभ बनाता है सीमित बजट पर।

उत्पादकता

की तुलना में, FlashAttention 2 के साथ TRL की तरह उपकरण पर, Unsloth समान AMD हार्डवेयर उच्च सीखने की गति और कम स्मृति खपत पर बेहतर प्रदर्शन दिखाता है।

निष्कर्ष

एएमडी के समर्थन के साथ Unsloth रिलीज़ ने एक नया मौका समुदाय खोला। स्थानीय एलएलएम अब एम्बेडेड ग्राफिक के साथ कम लागत वाले उपभोक्ता एएमडी उपकरण और लैपटॉप पर उपलब्ध है। यह महत्वपूर्ण है। मशीन लर्निंग सॉफ्टवेयर इकोसिस्टम में एनवीआईडीआईए के मोनोपोल को तोड़ने का एक कदम अब उपयोगकर्ता उपकरण चुन सकते हैं। उनकी आवश्यकताओं और बजट के आधार पर, और इसलिए नहीं क्योंकि प्रतिबंध सॉफ्टवेयर। यदि विकास की वर्तमान गति को बनाए रखा गया है, तो Unsloth उपकरणों की एक विस्तृत श्रृंखला पर भाषा मॉडल के स्थानीय सीखने के लिए वास्तविक मानक बन सकता है।