马克·扎克伯格透露，Llama 4 和 Llama 5 目前正在开发之中

前言

Meta 发布了它开源大型语言模型（LLM）的最新版——Llama 3，这也是目前最为强大的版本。这次发布包括两个版本，一是包含了 80 亿参数的 Llama 3 8B，另一个是含有 700 亿参数的 Llama 3 70B，两个版本都提供了基础版和经过指令调优的变体。

如果你还不知道，这些顶尖的语言模型是 Meta 旗下诸多热门应用的动力源泉，包括 Facebook、Instagram、WhatsApp、Messenger 和 Meta AI 网络应用。

Llama 3 在 HumanEval 测试中得分为 81.7，其性能超越了市面上其他领先的非开源模型，比如 Gemini Pro 1.5 的 71.9 分和 Claude 3 Sonnet 的 73.0 分。但是，它的表现还略逊于市面上最顶尖的非开源模型，如 Claude 3 Opus（84.9 分）和 GPT4 Turbo（85.7 分）。

Meta-Llama-3–8B 和 Meta-Llama-3–8B-Instruct 目前在 HuggingFace 上的趋势榜上名列前茅。

它们成为从发布到登顶趋势榜首位时间最短的模型，仅用了几个小时。

Llama 3 有哪些新特点呢？

Meta 在这次更新中加入了诸多改进：

• Llama 3 模型降低了误拒率，即错误地拒绝了合理的指令。

• 响应对齐得到了提升，这意味着生成的回复更能与人类的价值观和目标相匹配。

• 与 Llama 2 相比，Llama 3 在回应的多样性上也有所增加。

• Llama 3 的上下文长度是 Llama 2 的两倍，达到了 8K 词元的上下文窗口。

• Llama 3 的训练数据是在两个拥有 24,000 GPU 的集群上进行的，使用了约 8 倍更多的数据，覆盖了超过 15 万亿词元的新的公开在线数据。

• 关于许可条款，Llama 3 采用了一个宽松的许可证，允许重新分发、微调和衍生作品。Llama 3 许可证中新加入了明确归属的要求，这在 Llama 2 中是不存在的。

• Llama 3 引入了如推理、代码生成和指令跟随等增强能力。

Llama 3 提供了五种模型变体：70B、70B instruct、8B、8B instruct 和 Llama Guard 2。设计用于消费者设备的 Llama 3 8B，在性能上接近旧版的 Llama 2 70B。

Llama Guard 2 是为生产环境设计的，目的是对 LLM 的输入（提示）和响应进行分类，以识别在风险分类中可能被认为是不安全的内容。

Llama 3 的一项重大改进是引入了新的词元化器，其词汇量显著扩大到了 128,256 词元，相较于 Llama 2 中的 32K 词元。这使得文本编码更加高效，但相应地也增加了模型的参数数量，小型模型的参数从 70 亿增加到了 80 亿。80 亿参数的版本还整合了 Grouped-Query Attention (GQA)，使其在处理更长上下文时性能更佳。

基准测试

最吸引人的一点可能是，尽管 Llama 3 是开源的，但在人类评注者的偏好排名上，它却超过了如 Gemini Pro 1.0 这样的商业模型。

如何尝试 Llama 3？

目前，Meta AI 只在少数国家提供。

我们正在将 Meta AI 的英文版本推广到美国以外的十几个国家。现在，澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦的用户将能够使用 Meta AI —— 而这只是开始。

尽管你可以使用 VPN 来访问，但还有其他免费的方法来尝试 Llama 3:

• HuggingFace Chat

• Langsmith Playground

• Replicate

HuggingFace Chat

在 HuggingFace Chat上，登陆或创建一个账户后，确保在“当前模型”设置中选择了 Meta-Llama-3–70B-Instruct 模型。

此外，你还可以启用网页搜索功能。

Langsmith Playground

登录并确保将提供方设置为“Fireworks”，模型设置为“llama-v3-70b-instruct”。

Replicate

最后，你还可以通过 Replicate 上的 API 尝试 Llama-3-70b-instruct 模型。这个语言模型的定价基于发送的输入词元数量和生成的输出词元数量。

不久后，你还能在 Meta 的 Ray-Ban 智能眼镜上测试多模态 Meta AI。

更多激动人心的新闻即将发布…

在一次采访中，马克·扎克伯格透露，Llama 4 和 Llama 5 目前正在开发之中，预计将在 2024 年发布。尽管研究论文尚未公布，但 Meta 表示他们将在未来几个月内，连同更新一起发布这份论文。

我们期待在接下来的几个月中引入新的功能、更长的上下文窗口、更多的模型尺寸以及更高的性能，并且我们将分享 Llama 3 的研究论文。

本文链接：https://www.hzby.vip/Llama3/39.html

llama大模型llama模型结构和gpt3的差异llama模型羊驼llama 2 大模型 详解如何本地使用llama模型llama2大模型哪个团队的llama模型架构llama大模型用的是什么框架llama中文训练模型llama模型是哪个公司