Meta 人工智能研究院今天推出了 Llama 3 模型，该模型经过 15T (万亿) 个 tokens 训练，提供过经过预训练和指令微调的语言模型，分为 8B 和 70B 参数版本，可以在各种环境中使用。

相较于 Llama 2，新版本提供新功能并改进推理能力、大幅度降低错误拒绝率、支持多语言和多模式、具有更长的上下文，同时还提高推理和编程等核心功能的整体性能。

在一些基准测试中 Llama 3 性能超过 Mistral-7B、Mistral 8x22B 以及 Google Gemini Pro 1.0 版，也是目前开放 AI 模型中性能最好的一个。

为了尽可能提高 Llama 3 在聊天场景中的性能，Meta 还对指令微调方法进行了创新，包括使用监督微调、拒绝采样、近端策略优化和直接策略优化进行组合，尤其是通过近端策略优化和直接策略优化大幅度提高 Llama 3 的推理和编程性能。

Meta 举例称，如果用户向模型提出了一个它难以回答的推理问题，此时模型有时候会产生正确的推理轨迹，模型知道如何产生正确答案，但不知道如何选择这个答案，而对偏好排名的训练就能让模型学习如何选择这个答案。

安全方面，Meta 在 Llama Guard 2 和 Cyber Sec Eval 2 上进行更新，同时还 引入了 Code Shield，一种用于过滤大型语言模型生成不安全代码的推理时时间防护栏，这可以提高 Llama 3 的整体安全性。

即日起 Llama 3 模型在各大云计算平台上提供，包括亚马逊 AWS 和 Google Cloud 等平台，开发者亦可自行下载模型进行部署。

在 Llama 3 发布之后，Meta 正在训练下一代 Llama，其中最大的模型有超过 400B 的参数，不过这些模型仍然还在训练中。Meta 希望能够在未来几个月推出多模态版本，并且继续扩大上下文支持。

相关内容：

李彦宏在百度 AI 开发者大会上继续称开源模型只会越来越落后