Unsloth

Deskripsi jaringan saraf Unslooth

Unsloth adalah kerangka kerja open-source menciptakan tutorial model bahasa yang besar. Nya. Tugas utama adalah untuk membuat proses berpura-pura jauh lebih cepat dan lebih ekonomis dibandingkan dengan dengan dengan peralatan standar. Alih-alih benar-benar memperbarui semua bobot model, kerangka kerja menggunakan metode LoRA dan QLoRA, yang secara signifikan mengurangi persyaratan memori video dan sumber daya komputasi.

Arsitektur unsloth termasuk optimized custom core ditulis Triton dan HIP. Inti ini mempercepat komputasi. pada GPU dan mengurangi konsumsi memori. Fitur kerangka kerja - Dukungan resmi bagi kartu grafis AMD melalui lapisan perangkat lunak. Ini set Unsloth selain yang paling mirip. keputusan Mereka berfokus secara eksklusif pada ekosistem CuDA NVIDIA.

Kerangka kerja bekerja. ke dalam operasional Linux dan Windows sistem. Digunakan untuk subsistem Windows WSL. Instalasi menjalankan satu tim di terminal, dan pemasang otomatis mengatur semua ketergantungan, termasuk PyTorch RoCm membangun.

Fitur Unsloth

Untuk siapa jaringan saraf Unsloth cocok?

Pengembang dengan GPU AMD

Alat ini dirancang untuk para penggemar dan pengembang. peralatan AMD posesif. Ini tentang bagaimana profesional penguat baik konsumen Radeon. Sebelumnya lokal fine- tuning Peta itu sulit karena kurangnya perangkat lunak teroptimasi.

Pengguna laptop dan sistem kompak

Dukungan untuk arsitektur RDNA 3.5 yang hadir ke dalam prosesor Ryzen AI 300 dan platform Strix Halo membuka kemungkinan modelling pada notebook dengan grafis AMD tertanam. Ini mengurangi ambang pintu masuk bagi mereka yang tak berdaya mendiskreditkan kartu Video.

Spesialis pelatihan diperkuat

Dengan dukungan metode GRPO, Unsloth cocok untuk belajar tugas. pada penguatan apa yang memperluas lingkup Kerangka adalah di luar klasik denda tuning pengawas.

Bagaimana menggunakan jaringan saraf Unsloth?

Instalasi Linux dan MacOS

Proses instalasi berkurang untuk menjalankan satu perintah di terminal:

curl -fsSL https://unsloth.ai/install.sh | sh

Pemasang akan otomatis menentukan konfigurasi sistem dan menginstal semua komponen yang diperlukan. Termasuk perakitan ROCM PyTorch dan kecanduan lainnya.

Instalasi pada Windows

Pengguna Windows memiliki pemasang melalui PowerShell. Karena kerangka kerja bekerja melalui subsistem WSL diperlukan sehingga fungsi ini telah diaktifkan dalam sistem.

Mulai kerja

Setelah instalasi, pengguna dapat mengunduh salah satu dari lebih dari 500 model yang telah dipasang dan melanjutkan mengikuti. Framework mendukung bagaimana api klasik tuning baik dan bekerja dengan 4-bit Quantisasi melalui QLoRA.

Fungsi dasar

Dukungan untuk metode mengajar

Unsloth mendukung beberapa pendekatan untuk belajar: SFT (SFT) Belajar dengan guru, LoRA (adaptasi) peringkat rendah) dan 4- bit QLoRA. Pelatihan juga tersedia pada penguatan menggunakan metode GRPO.

Kompatibilitas dengan peralatan AMD

Kerangka kerja secara resmi mendukung AMD GPU melalui ROCM. Teroptimasi inti pada Triton dan HIP menyediakan komputasi yang lebih cepat. Dukungan tersedia untuk berbagai arsitektur, dari RDNA 2 ke server CDNA 4.

Inferensi dan deplo

Selain belajar Unsloth menyediakan kesempatan untuk inferencing dan lokal penyebaran model pra-terlatih bahwa Hal ini membuat alat universal untuk bekerja dengan LLM. peralatan sendiri.

Keuntungan Unsloth

Menyimpan memori dan waktu

AMD Unsloth berlari hingga 1.39 kali lebih cepat dan mengkonsumsi hingga 1.33 kali lebih sedikit memori. dengan peralatan standar TRL dengan FlashAttention 2. Untuk pelatihan Cukup dari 3 GB memori video Apa yang Siggently mengurangi persyaratan Besi.

Kemudahan instalasi dan penggunaan

Instalasi tunggal Tim adalah keuntungan yang signifikan. Pengguna tidak perlu secara manual mengkonfigurasi ROCm. Ketergantungan PyTorch dan komponen lainnya. Dukungan Windows pada par dengan Linux membuat alat tersedia bagi audiens yang lebih luas.

Resmi. Dukungan AMD

Unsloth dibebaskan dalam kolaborasi dengan AMD. Pastikan optimasi kualitas tinggi dan pemutakhiran tepat waktu ke arsitektur GPU baru. Ini adalah alat pelatihan LLM pertama yang populer. yang mulai cahaya Konsumer Radeon dan Ryzen AI.

Kerugian dari Unsloth

Peralatan batas

Dukungan bagi kartu grafik RX 6000 RDNA 2 terbatas dan hanya tersedia pada Linux. Ini juga membutuhkan versi ROCM 6.0 atau nanti. apa yang mungkin menjadi halangan bagi pemilik lingkungan perangkat lunak usang.

Tidak ada teknologi

FlashAttention 2 tidak tersedia pada AMD Xformers digunakan sebagai gantinya. Ini berlaku. batas tertentu pada kecepatan perhitungan indah. Hal ini juga tidak didukung pada Windows. Bekerja dengan beberapa GPU secara bersamaan.

Orientasi peralatan baru

A number of modern Fitur berfokus pada arsitektur terbaru - RDNA 4, RDNA 3.5 dan CDNA 3-4. Kartu pemilik lama Video mungkin menghadapi sebagian ketidakcocokan penuh.

Tugas apa yang Unsloth selesaikan?

Alat yang diterapkan untuk model bahasa lokalisasi pada peralatan AMD. Ini adalah tujuan utama dari kerangka kerja yang dibuat. Juga, Unsloth mendukung pembelajaran penguatan - berkat metode GRPO, model dapat dilatih di lingkungan. pada hadiah. Setelah pelatihan lebih lanjut Kerangka kerja memungkinkan Anda untuk melakukan inferens dan menyebarkan model lokal, tanpa referensi ke layanan awan.

Harga tidak miring

Unsloth adalah alat open source. Ini menyebar. gratis, dan informasi tentang setiap dibayar Tidak ada tarif untuk setiap tingkat layanan.

Akhir penggunaan Unsloth

Kerangka kerja memerlukan sebuah GPU dari AMD dengan dukungan untuk ROCm 6.0 atau kemudian. Bila arsitektur kartu grafis yang digunakan RDNA 2 (misalnya RX 6000), didukung ruang operasi Linux. Perlu. Jadi Pengguna memiliki keterampilan dasar dalam bekerja dengan perintah Garis dan terminal. Jendela adalah kewajiban. Aktivasi subsistem WSL.

Tidak bermalas-malasan

Alat ini benar-benar bebas dan memiliki kode referensi terbuka. Didukung operasional Linux dan Windows (via WSL)). Batas daerah Tidak disebutkan - layanan tersedia untuk pengguna dari negara manapun. Source code dari proyek ini diposting di GitHub di mana ia mengumpulkan lebih dari 68.000 bintang, menunjukkan popularitas tinggi dan aktivitas masyarakat.

Apa yang membedakan Unslooth dari analog

Orientasi AMD

Perbedaan utama antara Unsloth dan instrumen standar - sederhana resmi dan optimasi dukungan GPU AMD melalui ROCM. Kebanyakan analog berorientasi secara eksklusif pada NVIDIA CUDA yang meninggalkan pemegang kartu Radeon tanpa perangkat lunak kualitas Radeon untuk LLM halus tuning.

Biaya peralatan

Terima kasih untuk bekerja dengan kartu grafis AMD, Unsloth memungkinkan Anda untuk melakukan fining pada radeon mahal Lebih memori video per dolar dibandingkan dengan pada produk NVIDIA. Hal ini membuat pembelajaran lebih dapat diakses oleh pengguna privat pada dengan anggaran terbatas.

Produktivitas

Dibandingkan. Pada alat seperti TRL dengan FlashAttention 2, Unsloth menunjukkan kinerja yang lebih baik pada perangkat keras AMD yang sama Belajar lebih cepat dan konsumsi memori lebih rendah.

Kesimpulan

Rilis unsloth dengan dukungan untuk AMD membuka komunitas kemungkinan baru. Lokal. LLM kini tersedia di peralatan AMD dan laptop murah dengan grafis tertanam. Ini penting. Sebuah Langkah untuk memecahkan monopoli NVIDIA di Mesin Pembelajaran Ekosistem Perangkat Lunak Sekarang pengguna dapat memilih peralatannya. Berdasarkan persyaratan dan anggaran mereka, dan bukan karena perangkat lunak pembatasan. Jika kecepatan pembangunan saat ini dipertahankan, Unsloth bisa menjadi standar de facto untuk belajar lokal model bahasa pada berbagai macam perangkat.