Unsloth

Description du réseau neuronal Unsloth

Unsloth est un cadre open-source créé tutoriel grands modèles linguistiques. La sienne. La tâche principale est de rendre le processus de feigning beaucoup plus rapide et plus économique par rapport aux outils standard . Au lieu de mettre à jour complètement tous les poids du modèle, le cadre utilise les méthodes LoRA et QLoRA, qui permettent de réduire considérablement les besoins en mémoire vidéo et en ressources informatiques.

L'architecture unsloth comprend des cœurs personnalisés optimisés écrits Triton et HIP. Ces cœurs accélèrent le calcul. sur le GPU et réduire la consommation de mémoire. Caractéristique du cadre - Support officiel pour les cartes graphiques AMD par la couche de logiciel . Cela distingue Unsloth des autres. Décisions Ils se concentrent exclusivement sur l'écosystème NVIDIA CUDA.

Le cadre fonctionne. dans les systèmes opérationnels Linux et Windows . Utilisé pour le sous-système Windows WSL. L'installation exécute une équipe dans le terminal, et l'installateur configure automatiquement toutes les dépendances, y compris les constructions PyTorch ROCm.

Caractéristiques de Unsloth

Pour qui le réseau neural Unsloth convient-il?

Développeurs avec GPU AMD

L'outil est principalement conçu pour les passionnés et les développeurs. matériel de DMA possessif. C'est en ce qui concerne la façon dont le booster professionnel bien consommateur Radeon . Précédemment réglage fin local Les cartes étaient difficiles en raison du manque de logiciel optimisé.

Utilisateurs d'ordinateurs portables et de systèmes compacts

La prise en charge de l'architecture RDNA 3.5 présente dans les processeurs Ryzen AI 300 et les plates-formes Strix Halo ouvre la possibilité de modélisation sur portable avec graphiques AMD intégrés. Cela réduit le seuil d'entrée pour ceux qui n'ont pas de cartes vidéo discrètes.

Renforcement des spécialistes de la formation

Avec le soutien de la méthode GRPO, Unsloth est adapté aux tâches d'apprentissage. sur le renforcement de ce qui étend le champ d'application du cadre est au-delà de l'amélioration classique de la supervision.

Comment utiliser le réseau neuronal Unsloth ?

Installation Linux et macOS

Le processus d'installation est réduit Pour exécuter une commande dans le terminal :

curl -fsSL https://unsloth.ai/install.sh | sh

L'installateur déterminera automatiquement la configuration du système et installera tous les composants nécessaires. y compris les assemblages ROCm de PyTorch et autres dépendances.

Installation sur Windows

Les utilisateurs de Windows ont un installateur via PowerShell. Depuis que le cadre fonctionne à travers le sous-système WSL nécessaire donc Cette fonction a été activée dans le système.

Début des travaux

Après l'installation, l'utilisateur peut télécharger l'un des 500 modèles préinstallés et procéder au suivi . Cadre soutient la façon dont le réglage classique du feu et fonctionne avec la quantification 4 bits par QLoRA.

Fonction de base

Appui aux méthodes d'enseignement

Unsloth soutient plusieurs approches d'apprentissage : SFT (SFT) Apprentissage avec un enseignant, LoRA (adaptation) de bas grades ) et QLora 4 bits. Une formation est également disponible sur le renforcement à l'aide de la méthode GRPO.

Compatibilité avec les équipements AMD

Le cadre soutient officiellement AMD GPU via ROCm . Les cœurs optimisés sur Triton et HIP fournissent un calcul plus rapide. Le support est disponible pour un large éventail d'architectures, du consommateur RDNA 2 au serveur CDNA 4.

Inférence et déplo

Au-delà de l'apprentissage Unsloth offre des possibilités d'inférenciation et de déploiement local de modèles préformés qui en font un outil universel pour travailler avec le LLM. équipement propre.

Avantages de l'insalubrité

Sauver la mémoire et le temps

AMD Unsloth fonctionne jusqu'à 1,39 fois plus vite et consomme jusqu'à 1,33 fois moins de mémoire. avec outils standard TRL avec FlashAttention 2. Pour l'entraînement Assez de 3 Go de mémoire vidéo ce qui réduit significativement les exigences Fer.

Facilité d'installation et d'utilisation

Installation unique L'équipe est un avantage important. L'utilisateur n'a pas besoin de configurer manuellement ROCm. Dépendances PyTorch et autres composants . La prise en charge de Windows par Linux rend l'outil accessible à un public plus large.

Fonctionnaire. Appui aux AMD

Unsloth a été publié en collaboration avec AMD. Assurer une optimisation de haute qualité et des mises à jour opportunes des nouvelles architectures GPU. C'est le premier outil d'entraînement populaire LLM. qui démarrent la lumière sur le Radeon consommateur et Ryzen AI.

Les inconvénients de Unsloth

Matériel de limitation

La prise en charge des cartes graphiques RX 6000 RDNA 2 est limitée et disponible uniquement sur Linux. Elle nécessite également la version 6.0 ou ultérieure du ROCm. ce qui peut être un obstacle pour les propriétaires d'environnements logiciels dépassés.

Absence de technologie

FlashAttention 2 n'est pas disponible sur AMD Xformers est utilisé à la place. Ça l'impose. certaines limites sur la vitesse des calculs en scénario . Il n'est pas non plus pris en charge sur Windows. Travailler avec plusieurs GPU simultanément.

Orientation nouveau matériel

Un certain nombre de Les fonctions sont axées sur les dernières architectures - RDNA 4, RDNA 3.5 et CDNA 3-4. Propriétaires plus âgés Les cartes vidéo peuvent rencontrer une incompatibilité partielle complète.

Quelles tâches Unsloth résout-elle ?

L'outil s'applique aux modèles linguistiques de localisation sur l'équipement AMD. Tel est l' objectif principal du cadre pour lequel il a été créé . En outre, Unsloth soutient l'apprentissage du renforcement – grâce à la méthode GRPO, les modèles peuvent être formés dans des environnements. sur récompense . Après la formation continue Le framework vous permet d'effectuer des inferens et de déployer des modèles localement, sans référence aux services cloud.

Prix hors sloth

Unsloth est un outil open source . Ça se répand. gratuitement, et des informations sur tout paiement Il n'y a pas de tarifs pour tout niveau de service.

Conditions d'utilisation de Unsloth

Le cadre nécessite un GPU d'AMD avec support pour ROCm 6.0 ou plus tard. Si l'architecture de carte graphique utilisée RDNA 2 (par exemple RX 6000 ), salle d'opération prise en charge Linux . Requis. donc L'utilisateur a les compétences de base pour travailler avec la commande La ligne et le terminal. Windows est obligatoire. les sous-systèmes WSL d'activation.

Disponibilité hors sloth

L'outil est entièrement gratuit et a un code de référence ouvert. Prise en charge des opérations Linux et Windows (via WSL). Restrictions régionales Non mentionné - le service est disponible pour les utilisateurs de n'importe quel pays . Le code source du projet est affiché sur GitHub où il a recueilli plus de 68 000 étoiles, Il montre la grande popularité et l'activité de la communauté.

Ce qui distingue Unsloth des analogues

Orientation AMD

La principale différence entre Unsloth et instruments standard - officiels Support GPU AMD simple et optimisé via ROCm . La plupart des analogues sont orientés exclusivement sur NVIDIA CUDA qui laisse les détenteurs de cartes Radeon sans logiciel de qualité Radeon pour le réglage fin LLM.

Coût du matériel

Merci de travailler avec les cartes graphiques AMD, Unsloth vous permet d'effectuer des ailerons sur radéon bon marché Plus de mémoire vidéo par dollar par rapport aux produits NVIDIA. Cela rend l'apprentissage plus accessible à l'utilisateur privé sur sur un budget limité.

Productivité

Comparé. sur l'outil Comme TRL avec FlashAttention 2, Unsloth affiche de meilleures performances sur le même matériel AMD Vitesse d'apprentissage supérieure et consommation de mémoire inférieure.

Conclusion

Unsloth libération avec le soutien d'AMD a ouvert une nouvelle communauté de possibilité . Local. LLM est maintenant disponible dans les équipements AMD grand public et les ordinateurs portables avec graphique intégré. C'est important. Une étape pour briser le monopole NVIDIA dans l'écosystème logiciel d'apprentissage automatique Maintenant les utilisateurs peuvent choisir l'équipement. en fonction de leurs besoins et budget, et non parce que les logiciels de restriction . Si le rythme actuel de développement est maintenu, Unsloth pourrait devenir la norme de facto pour l'apprentissage local de modèles de langues sur un large éventail d'appareils.