Llama 3.1 405B

卢拉马 3.1 405B

Llama3.1 405B神经网络简介

Llama 3.1 405B是Meta于2024年7月发布的最大的开源语言模型. 它包含4,050亿个参数,并使用RLHF(从人类反馈中学习强化)阶段的超过15万亿个符号的数据集进行训练. 在任务性能方面,该型号可与封闭旗舰型号相媲美——GPT-4和克勞德克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特克特

该模型与文本和代码相配合,支持一个128K符号上下文窗口——足够分析长的文件,广泛的对话,以及复杂的多步骤推理. Llama 3.1 405B既可通过云平台供商业使用,也可在拥有足够计算功率的服务器上自行托管.

Llama 3.1 405B规格

Llama3.1 405B神经网络适合谁?.

研究人员和专业公司

Llama 3.1 405B是研究团体和公司的理想选择,它们需要有一个基础模型,以便在具体领域进一步微调. 权重的开放使得有可能对医学、法律、金融和其他需要深度专业化而不是通用答案的行业的任务模式进行调整。

使用开源模型的开发者

想要使用GPT-4级模型的开发者,但更喜欢没有供应商锁定的开源解决方案,获得与Llama 3.1 405B对模型的全面控制:从配置和微调到部署在自己的基础设施上或通过所选择的云提供商.

如何使用Llama 3.1 405B神经网络?

通过云平台

最容易启动的方法是通过云提供商之一进入模型:AWS Bedrock,Azure Machine Learning,GCP Vertex AI,Connect.ai,Fireworks AI,或再版. 登记是通过选定的服务进行的,然后通过API提供模型,无需自行部署基础设施。

自我接待

运行Llama 3.1 405B本地在使用FP8精度时,至少需要8个A100GPU,每个有80GB内存. 这是一项重大要求,它使当地部署只能提供给具有自身服务器能力或能够进入高性能集群的组织。

免费测试

该型号的有限免费访问由College.ai提供. 也可以在HuggingFace Spaces上以演示模式测试模型. 这足以评价模型的质量,但正常使用需要付费订阅.

Llama的主要特征 3.1 405B

破纪录的参数数

4050亿参数使得Llama 3.1 405B成为发布时最大的开源语言模型. 大尺寸会直接影响模型处理复杂多步骤任务的能力,这些任务需要深层的上下文理解和一长串推理.

128K 令牌上下文窗口

该模型在一次请求中处理多达128,000个令牌. 这样可以与大文件合作,分析长对话,并处理整本书、代码库和法律合同,而不失去上下文。

高基准分数

Llama 3.1 405B在MMLU基准(跨越各个领域的知识评估)上实现了88.6%,在HumanEval(规划任务)上实现了89.0%. 这些结果使它与最好的封闭商业模式相当。

完全开放重量

与许多竞争者不同的是,Meta不仅发布API,而且还发布模型自身加权. 这使得对Llama 3.1 405B进行专门任务的微调,创建自定义版本,以及完全控制推论过程成为可能.

Llama的优点 3.1 405B

• GPT-4级质量,完全开放 ——该模型可与领先的封闭替代品相媲美,但仍可供独立研究,修改和微调.
• 最大的开源语言模型 ——4,050亿个参数在所有开源解决方案中提供了最深入的分析.
• 128K 符号上下文 ——允许处理上下文窗口较小的模型无法访问的长文件和对话框.
• 根据Meta许可证进行商业使用 ——该型号可能被受众可达7亿用户的公司用于商业产品.
• 通过云提供者提供 ——AWS Bedrock,Azure等服务提供该模型,无需自行部署重型基础设施.

Llama的缺点 3.1 405B

• 巨大的计算要求 ——本地部署至少需要8个A100GPU,每台80GB,使得大多数用户和小公司无法自行接收.
• API高成本 ——型号调用的成本大大高于较小的Llama 3.1 70B版本,使其无法为简单而常规的任务盈利.
• 慢推论 ——由于模型体积较大,与紧凑的替代品相比,反应时间明显要高.
• 关于最近事件的幻觉 ——该模型的训练数据于2024年初被切断,因此有关较新事件的信息可能不准确或被捏造.

Llama 3.1 405B解决了哪些任务?

复杂的多步骤推理

该模型在需要长逻辑链的任务上特别强大:数学证明,计划,分析报告,法律分析. 后面的大上下文窗口和高质量的指令使得它在整个响应中保持了复杂的逻辑.

编程和编码工作

Llama 3.1 405B在HumanEval基准上达到89.0%,与领先的商业模型水平相匹配. 它处理写出代码,重构,解释算法,并调试.

长期文件分析

得益于128K符号上下文,该模型可以处理整本书,科学文章,法律合同,或代码库,取出关键信息并回答关于整个内容的问题.

创建微调的基础模型

权重的开放使得Llama 3.1 405B成为在医学,法律,金融等领域创建专业模型的主要平台. 研究人员可以在自己的数据集上对模型进行微调,获得精确适合特定行业的工具.

3.1 405B定价

免费访问

有限的免费进入通过College.ai提供。 在HuggingFace Spaces上也有演示版. 这足以熟悉模型的能力并测试出少量的数据.

已付款计划

使用费从每100万个输入符3美元开始。 此外,该型号可通过云提供商订阅:College.ai,Fireworks AI,再版,AWS Bedrock,和Azure. 具体费率取决于选定的提供者和使用量。

Llama的使用条款 3.1 405B

为了与模型合作,需要通过选定的云提供商进行登记。 商业用途由Meta Llama 3.1社区许可证管理,允许拥有多达7亿用户的公司使用该模式。 超过这一门槛的组织必须另行向Meta申请许可证。

提供Llama3.1 405B

该模型可通过主要云平台提供: College.ai,Fireworks AI,再版,AWS Bedrock,Azure Machine Learning,和GCP Vertex AI. 本地安装至少需要8个A100 80GB GPU. 由于模型是完全开放的,因此没有语言或区域限制——访问只能由连接到所选云服务的能力或你自己硬件的可用性决定.

Llama3.1 405B与替代品的区别

具有GPT-4级质量的开放性

Llama 3.1 405B与商业替代品(GPT-4,克洛德3 Opus)的主要区别在于质量相仿的重量完全开放. 封闭模型不允许对特定任务进行微调,不能研究内部架构,也不能在自己的基础设施上部署. Llama 3.1 405B提供所有这些能力。

与较小的开源模型进行比较

与"Llama 3.1 70B"相比,拥有4,050亿个参数的版本在复杂的任务中显著地超越了更小的模型:数学,编程,和多步推理. 然而,对于大多数日常任务,质量差异是可忽略不计的,而Llama 3.1 70B在响应速度和使用成本方面明显获胜.

结论

拉玛 3.1 405B是来自Meta的历史上重要的开源模型,在质量上与封闭旗舰模型GPT-4和克洛德3 Opus非常相近. 它为开源语言模型设置了新的栏目,并因其全开权重而特别有价值地成为对专门任务进行微调的基础模型. 尽管资源需求高,成本高,Llama 3.1 405B已成为实现获得强大语言模式民主化道路上的一个重要里程碑.