Llama 3.1 405B

Llama 3.1 405B

Description of the Llama 3.1 405B neural network

Llama 3.1 405B is the largest open-source language model released by Meta in July 2024. It contains 405 billion parameters and is trained on a dataset of more than 15 trillion tokens using the RLHF (Reinforcement Learning from Human Feedback) stage. ومن حيث أداء المهام، يقارن النموذج بالنماذج الرئيسية المغلقة - GPT-4 و Claude 3 Opus - في حين أن وزنها النموذجي مفتوح تماما، مما يسمح باستخدامه كأساس لتحسين أداء المهام المتخصصة.

ويعمل النموذج بالنص والشفرة ويدعم نافذة السياق المكسور 128K - كافية لتحليل الوثائق الطويلة، والحوارات الواسعة النطاق، والأسباب المعقدة المتعددة الخطوات. Llama 3.1 405B is available both for commercial use via cloud platforms and for self-hosting on your own servers if you have sufficient computing power.

Llama 3.1 405B specifications

مَن هي شبكة (لاما 3-1 405B) العصبية المناسبة؟

الباحثون والشركات المتخصصة

Llama 3.1 405B is an ideal choice for research groups and companies that need a base model for further fine-tuning in specific domains. ومن شأن انفتاح الأوزان أن يجعل من الممكن تكييف نموذج المهام في مجالات الطب والقانون والتمويل وغيرها من الصناعات التي تتطلب تخصصا عميقا بدلا من إجابات عامة.

المطورون الذين يستخدمون نماذج المصادر المفتوحة

المطورون الذين يرغبون في العمل مع نموذج من طراز GPT-4 ولكنهم يفضلون الحلول المفتوحة المصدر دون أن يتحكم البائعون في النموذج مع Llama 3.1 405B: من التشكيل والتحسين إلى النشر في الهياكل الأساسية الخاصة بهم أو من خلال مزود غيوم مختار.

كيف تستخدم شبكة لاما 3-1 405B العصبية؟

من خلال منابر السحاب

The easest way to get started is to access the model through one of the cloud providers: AWS Bedrock, Azure Machine Learning, GCP Vertex AI, Together.ai, Fireworks AI, or Replicate. ويتم التسجيل من خلال خدمة مختارة، ويتاح النموذج بعد ذلك عن طريق نظام المعلومات الإدارية المتكامل دون الحاجة إلى نشر البنية التحتية بنفسك.

استضافة الذات

Running Llama 3.1 405B locally requires at least 8 A100 GPUs with 80 GB of memory each when using FP8 precision. وهذا شرط هام يجعل النشر المحلي متاحاً فقط للمنظمات التي تملك قدرتها الخاصة على الخواديم أو الوصول إلى مجموعات عالية الأداء.

الاختبار الحر

وتوفر معاً إمكانية الوصول إلى النموذج بحرية محدودة. يمكنك أيضا اختبار النموذج في نمط تجريبي على فضاء هوجينج فيس. وهذا يكفي لتقييم نوعية النموذج، ولكن الاستخدام المنتظم سيتطلب اشتراكا مدفوع الأجر.

السمات الرئيسية لللاما 3-1 405 باء

عدد المعالم

405 بلايين بارامترات تجعل Llama 3.1 405B أكبر نموذج للغة مفتوحة المصدر وقت الإفراج. الحجم الكبير يؤثر بشكل مباشر على قدرة النموذج على التعامل مع المهام المعقدة والمتعددة الخطوات التي تتطلب فهما عميقا للسياق وسلسلة طويلة من التفكير.

128K token context window

عمليات النموذج إلى 128 ألف تاكيد في طلب واحد ويسمح ذلك بالعمل مع الوثائق الكبيرة، وتحليل الحوارات الطويلة، وتجهيز كتب كاملة وقواعد قانونية وعقود قانونية دون فقدان السياق.

درجات قياسية عالية

Llama 3.1 405B achieves 88.6% on the MMLU benchmarks (knowledge assessment across various domains) and 89.0% on HumanEval (programming tasks). وتتفق هذه النتائج مع أفضل النماذج التجارية المغلقة.

الأوزان المفتوحة الكاملة

وخلافاً للعديد من المنافسين، لا تنشر " ميتا " فقط " ، بل تنشر أيضاً الأوزان النموذجية نفسها. وهذا يجعل من الممكن تعديل Llama 3.1 405B للمهام المتخصصة، وإنشاء نسخ تقليدية، والتحكم الكامل في عملية الاستدلال.

مزايا Llama 3.1 405B

• GPT-4 quality with full openness - يقارن النموذج بالبدائل المغلقة الرائدة، بينما يظل متاحا للدراسة المستقلة والتعديل والتعديل.
• أكبر نموذج للغة مفتوحة المصدر - 405 بليون بارامتر توفر أكبر قدر من التحليل فيما بين جميع الحلول المفتوحة المصدر.
• 128K token context - يسمح بتجهيز الوثائق الطويلة والحوارات التي يتعذر الوصول إليها بالنسبة للنماذج ذات النوافذ السياقية الأصغر.
• الاستخدام التجاري بموجب ترخيص ميتا - يمكن استخدام النموذج في المنتجات التجارية من قبل الشركات التي لديها جمهور إلى 700 مليون مستخدم
• توافرها عن طريق مقدمي خدمات الغيوم - AWS Bedrock, Azure, and other services offer the model without the need to deploy heavy infrastructure yourself.

مخالفات للاما 3-1 405 باء

• الاحتياجات الحاسوبية العالية - يتطلب النشر المحلي ما لا يقل عن 8 وحدات من طراز A100 GPUs مع 80 GB كل منها، مما يجعل من الصعب الوصول إلى معظم المستعملين والشركات الصغيرة.
• التكلفة المرتفعة للمبادرة - تكلفة المكالمات النموذجية أعلى بكثير من تكلفة النسخ الأصغر من Llama 3.1 70B، مما يجعلها غير ربحية للمهام البسيطة والروتينية.
• بطء الاختبار - نظرا لحجم النموذج الكبير، فإن وقت الاستجابة أعلى بكثير من البدائل المدمجة.
• هلوسة الأحداث الأخيرة بيانات التدريب على النموذج مقطوعة في أوائل عام 2024 لذا المعلومات عن الأحداث الأحدث قد تكون غير دقيقة أو ملفقة

ما هي المهام التي يحلها (لاما 3-1 405 باء)؟

التعليل المتعدد الخطوات المعقدة

والنموذج قوي بصفة خاصة في المهام التي تتطلب سلسلة منطقية طويلة: الأدلة الرياضية، والتخطيط، والتقارير التحليلية، والتحليل القانوني. The large context window and high-quality instruction following allow it للحفاظ على المنطق المعقد في جميع أنحاء الاستجابة.

البرمجة والعمل بالرمز

Llama 3.1 405B achieves 89.0% on the HumanEval benchmarks, which corresponds to the level of leading commercial models. إنه يتعامل مع كتابة الشفرة، إعادة التصنيع، شرح الخوارزميات، والتشويش.

تحليل طويل للوثائق

وبفضل السياق الرمزي 128K، يمكن للنموذج أن يجهز كتبا كاملة، أو مواد علمية، أو عقود قانونية، أو قواعد مشفرة، ويستخرج معلومات أساسية ويجيب على الأسئلة المتعلقة بالمحتوى بأكمله.

إنشاء نماذج أساسية للتحسين

The openness of the weights makes Llama 3.1 405B the primary platform for creating specialized models in fields such as medicine, law, and finance. ويمكن للباحثين تحسين النموذج على مجموعات بياناتهم الخاصة، والحصول على أدوات مصممة خصيصا لصناعة محددة.

سعر الصرف 3-1 405 باء

حرية الوصول

وتتاح إمكانية الوصول بحرية محدودة من خلال معا. ويمكن أيضا الحصول على نسخة تجريبية من " هوغينغ فيس " . هذا يكفي لمعرفة قدرات النموذج واختباره على كميات صغيرة من البيانات

خطط الدفع

وتبدأ تكلفة الاستخدام من خلال معا بثلاثة دولارات لكل مليون مدخل. وبالإضافة إلى ذلك، فإن النموذج متاح بالاشتراك عن طريق مقدمي الخدمات السحابية: معاً. وتتوقف المعدلات المحددة على المزود المختار وأحجام الاستخدام.

مدة استخدام لالاما 3-1 405 باء

وللعمل مع النموذج، يلزم التسجيل من خلال مزود غيوم مختار. 3-1 الترخيص المجتمعي، الذي يسمح باستخدام النموذج من قبل الشركات التي لديها جمهور إلى 700 مليون مستخدم ويجب على المنظمات التي تتجاوز هذه العتبة أن تطلب ترخيصا منفصلا من ميتا.

توافر Llama 3.1 405B

والنموذج متاح من خلال منابر السحاب الرئيسية: معاً، ألعاب نارية، ريبليكات، AWS Bedrock، Azure Machine Learning، GCP Vertex AI. ويحتاج التركيب المحلي إلى ما لا يقل عن 8 مئة و80 غيغابايت GPUs. ولما كان النموذج مفتوحاً تماماً، فلا توجد أي قيود لغوية أو إقليمية - ولا يحدد الوصول إلا بالقدرة على الاتصال بخدمة السحب المختارة أو توافر معداتكم الخاصة.

كيف يختلف Llama 3.1 405B عن البدائل

الانفتاح على مستوى GPT-4

والفرق الرئيسي بين Llama 3.1 405B والبدائل التجارية (GPT-4، Claude 3 Opus) هو الانفتاح الكامل للوزنات ذات النوعية المماثلة. ولا تسمح النماذج المغلقة بالتعديل في مهام محددة، أو دراسة الهيكل الداخلي، أو نشرها في الهياكل الأساسية الخاصة بك. Llama 3.1 405B provides all of these capabilities.

مقارنة مع نماذج الموارد المفتوحة الأصغر

وبالمقارنة مع Llama 3.1 70B، فإن الصيغة التي تتضمن 405 بلايين بارامترات تفوق كثيرا النموذج الأصغر في المهام المعقدة: الرياضيات، والبرمجة، والتعقل المتعدد الخطوات. غير أنه بالنسبة لمعظم المهام اليومية، لا يُذكر الفرق في النوعية، في حين يفوز Llama 3.1 70B بشكل ملحوظ في سرعة الاستجابة وتكلفة الاستخدام.

خاتمة

Llama 3.1 405B is a historically significant open-source model from Meta that has come very close in quality to the closed flagship models GPT-4 and Claude 3 Opus. وهو يضع حانة جديدة لنماذج اللغات المفتوحة المصدر، وهو ذو قيمة خاصة بوصفه نموذجا أساسيا للتحسين في أداء المهام المتخصصة بفضل الأوزان المفتوحة تماما. وعلى الرغم من ارتفاع الاحتياجات من الموارد والتكلفة، أصبح Llama 3.1 405B معلما هاما على طريق إضفاء الطابع الديمقراطي على الوصول إلى نماذج اللغات القوية.