Llama 3.1 405B

Llama 3.1 405B

Deskripsi jaringan saraf Llama 3.1 405B

Llama 3.1405B adalah model bahasa open-source terbesar yang dirilis oleh Meta pada bulan Juli 2024. Ini berisi 405 miliar parameter dan dilatih pada sebuah dataset dari lebih dari 15 triliun token menggunakan RLHF (Reinforcement Learning from Human Feedback) panggung. Dalam hal kinerja tugas, model ini sebanding dengan model penandaan tertutup - GPT-4 dan Claude 3 Opus - sementara bobot modelnya sepenuhnya terbuka, memungkinkan untuk digunakan sebagai dasar untuk fine- tuning untuk tugas khusus.

Model ini bekerja dengan teks dan kode dan mendukung 128K token jendela konteks - cukup untuk menganalisis dokumen panjang, dialog luas, dan kompleks multi- langkah penalaran. Llama 3.1 405B tersedia baik untuk penggunaan komersial melalui platform awan dan untuk diri hosting pada server Anda sendiri jika Anda memiliki daya komputasi yang cukup.

Llama 3.1 405B spesifikasi

Untuk siapa jaringan saraf Llama 3.1 405B cocok?

Peneliti dan perusahaan khusus

Llama 3.1 405B adalah pilihan ideal untuk kelompok penelitian dan perusahaan yang membutuhkan model dasar untuk lebih lanjut fine- tuning di domain tertentu. Keterbukaan dari beban memungkinkan untuk menyesuaikan model untuk tugas di bidang kedokteran, hukum, keuangan, dan industri lain di mana spesialisasi mendalam diperlukan daripada jawaban umum.

Pengembang memakai model open-source

Pengembang yang ingin bekerja dengan model tingkat GPT-4-tetapi lebih suka solusi open-source tanpa kunci vendor dalam mendapatkan kendali penuh atas model dengan Llama 3.1 405B: dari konfigurasi dan fine- tuning untuk penyebaran pada infrastruktur mereka sendiri atau melalui penyedia awan yang dipilih.

Bagaimana menggunakan jaringan saraf Llama 3.1 405B?

Melalui platform awan

Cara termudah untuk memulai adalah dengan mengakses model ini melalui salah satu penyedia awan: AWS Bedrock, Azure Machine Learning, GCP Vertex AI, Together.ai, Fireworks AI, atau Replicate. Pendaftaran dilakukan melalui layanan yang dipilih, setelah model tersedia melalui API tanpa perlu untuk menyebarkan infrastruktur sendiri.

Self- hosting

Menjalankan Llama 3.1 405B lokal membutuhkan setidaknya 8 A100 GPU dengan 80 GB memori masing-masing ketika menggunakan presisi FP8. Ini adalah persyaratan yang signifikan yang membuat penyebaran lokal hanya dapat diakses untuk organisasi dengan kapasitas server mereka sendiri atau akses ke cluster kinerja tinggi.

Uji bebas

Akses bebas terbatas ke model disediakan oleh Together.ai. Anda juga dapat menguji model dalam mode demo di Ruang Wajah HuggingFace. Ini cukup untuk mengevaluasi kualitas model, tapi penggunaan biasa akan memerlukan berlangganan dibayar.

Fitur kunci dari Llama 3.1 405B

Record- memecah jumlah parameter

405 miliar parameter membuat Llama 3.1 405B Model bahasa open-source terbesar pada saat rilis. Ukuran besar secara langsung mempengaruhi kemampuan model untuk menangani kompleks, banyak langkah tugas yang membutuhkan pemahaman kontekstual mendalam dan rantai panjang penalaran.

128K token jendela konteks

Model proses hingga 128 ribu token dalam satu permintaan. Hal ini memungkinkan bekerja dengan dokumen-dokumen besar, menganalisis dialog panjang, dan memproses seluruh buku, codebase, dan kontrak hukum tanpa kehilangan konteks.

Skor benchmark tinggi

Llama 3.1 405B mencapai 88.6% pada benchmark MMLU (penilaian pengetahuan di berbagai domain) dan 89.0% pada HumanEval (pemrograman tugas). Hasilnya setara dengan model iklan terbaik.

Fully terbuka bobot

Tidak seperti banyak pesaing, Meta menerbitkan tidak hanya API tapi juga berat badan model itu sendiri. Hal ini memungkinkan untuk fine- tune Llama 3.1 405B untuk tugas khusus, membuat versi gubahan, dan sepenuhnya mengontrol proses inferensi.

Kemajuan Llama 3.1 405B

• Kualitas tingkat GPT-4 dengan keterbukaan penuh - Model sebanding dengan memimpin alternatif tertutup, sementara yang tersisa tersedia untuk studi independen, modifikasi, dan fine- tuning.
• Model bahasa open-source terbesar - 405 miliar parameter menyediakan terbesar kedalaman analisis di antara semua solusi open-source.
• Konteks token 128K - memungkinkan pemrosesan dokumen dan dialog panjang yang tidak dapat diakses oleh model dengan jendela konteks yang lebih kecil.
• Penggunaan komersial di bawah lisensi Meta - Model dapat digunakan dalam produk komersial oleh perusahaan dengan penonton hingga 700 juta pengguna.
• Ketersediaan melalui penyedia awan - AWS Bedrock, Azure, dan layanan lain menawarkan model tanpa perlu untuk menyebarkan infrastruktur berat sendiri.

Kerugian Llama 3.1 405B

• persyaratan komputasi besar - penyebaran lokal membutuhkan setidaknya 8 A100 GPU dengan 80 GB masing-masing, membuat diri-hosting tidak dapat diakses kepada kebanyakan pengguna dan perusahaan-perusahaan kecil.
• Biaya API tinggi - Biaya panggilan model secara signifikan lebih tinggi daripada yang lebih kecil Llama 3.1 70B versi, membuatnya tidak menguntungkan untuk tugas sederhana dan rutin.
• Inferensi lambat - karena ukuran model yang besar, waktu respons adalah pemberitahuan lebih tinggi dibandingkan dengan alternatif compact.
• Halusinasi pada peristiwa baru-baru ini - Data pelatihan model dipotong pada awal 2024, jadi informasi tentang acara baru mungkin tidak akurat atau dibuat.

Tugas apa yang menyelesaikan Llama 3.1 405B?

Kompleks multi- langkah penalaran

Model ini sangat kuat dalam tugas-tugas yang memerlukan rantai logis yang panjang: bukti matematika, perencanaan, laporan analitis, analisis hukum. Jendela konteks besar dan instruksi berkualitas tinggi yang diikuti memungkinkan untuk mempertahankan logika kompleks di seluruh tanggapan.

Pemrograman dan bekerja dengan kode

Llama 3.1405B mencapai 89,0% pada benchmark HumanEval, yang sesuai dengan tingkat model komersial terkemuka. Ini menangani menulis kode, memfaktorkan ulang, menjelaskan algoritma, dan debug.

Analisis dokumen panjang

Berkat konteks token 128K, model dapat memproses seluruh buku, artikel ilmiah, kontrak hukum, atau codebasa, mengekstrak informasi kunci dan menjawab pertanyaan tentang seluruh konten.

Membuat model dasar untuk fine-tuning

Keterbukaan dari beban membuat Llama 3.1 405B platform utama untuk menciptakan model khusus dalam bidang seperti obat, hukum, dan keuangan. Peneliti dapat menemukan model pada data mereka sendiri, mendapatkan alat yang sesuai dengan industri tertentu.

Llama 3.1 405B harga

Akses bebas

Akses bebas terbatas disediakan melalui Together.ai. Versi demo juga tersedia di Ruang Wajah HuggingFace. Ini cukup untuk terbiasa dengan kemampuan model dan mengujinya pada sejumlah kecil data.

Rencana berbayar

Biaya penggunaan melalui Together.ai dimulai dari $3 per 1 juta token masukan. Selain itu, model ini tersedia dengan berlangganan melalui penyedia awan: Together.ai, kembang api AI, Replicate, AWS Bedrock, dan Azure. Laju khusus bergantung pada penyedia dan volume penggunaan yang dipilih.

Akhir penggunaan untuk Llama 3.1 405B

Untuk bekerja dengan model, registrasi melalui penyedia awan yang dipilih diperlukan. Penggunaan komersial diatur oleh Meta Llama 3.1 Community License, yang memungkinkan penggunaan model oleh perusahaan dengan penonton hingga 700 juta pengguna. Organisasi melebihi ambang batas ini harus meminta lisensi terpisah dari Meta.

Ketersediaan Llama 3.1 405B

Model ini tersedia melalui platform awan utama: Together.ai, Fireworks AI, Replicate, AWS Bedrock, Azure Machine Learning, dan GCP Vertex AI. Instalasi lokal memerlukan setidaknya 8 A100 80GB GPU. Karena model sepenuhnya terbuka, tidak ada bahasa atau pembatasan regional - akses ditentukan hanya dengan kemampuan untuk terhubung ke layanan awan yang dipilih atau ketersediaan perangkat keras Anda sendiri.

Bagaimana Llama 3.1 405B berbeda dari alternatif

Buka dengan kualitas GPT-4-level

Perbedaan utama antara Llama 3.1 405B dan alternatif komersial (GPT-4, Claude 3 Opus) adalah keterbukaan penuh dari berat dengan kualitas yang sebanding. Model tertutup tidak mengizinkan fine- tuning untuk tugas tertentu, mempelajari arsitektur internal, atau menyebar pada infrastruktur Anda sendiri. Llama 3.1 405B menyediakan semua kemampuan ini.

Perbandingan dengan model open-source yang lebih kecil

Dibandingkan dengan Llama 3.1 70B, versi dengan 405 miliar parameter secara signifikan menghasilkan model yang lebih kecil dalam tugas yang kompleks: matematika, pemrograman, dan multi- langkah penalaran. Namun, untuk kebanyakan tugas sehari-hari, kualitas perbedaan diabaikan, sementara Llama 3.1 70B pemberitahuan menang dalam kecepatan respon dan biaya penggunaan.

Kesimpulan

Llama 3.1 405B adalah model open-source yang signifikan secara historis dari Meta yang telah mencapai kualitas yang sangat dekat dengan model kapal bendera tertutup GPT-4 dan Claude 3 Opus. Hal ini menetapkan sebuah bar baru untuk model bahasa open-source dan terutama berharga sebagai model dasar untuk fine- tuning untuk tugas khusus berkat bobot sepenuhnya terbuka. Meskipun kebutuhan sumber daya yang tinggi dan biaya, Llama 3.1405B telah menjadi tonggak penting pada jalan untuk mendemokratisasi akses ke model bahasa yang kuat.