科技巨头苹果公司最近又新推出了一款名为OpenELM的开源大语言模型，与市面上其他LLM产品不同的是，OpenELM设计为直接在本地设备上运行，而无需云计算。以往LLM产品常为用户所诟病的一点就是隐私保护和数据安全，而通过将数据保留在本地进行处理，毫无疑问能够保障更高的安全性。

据了解，OpenELM系列有八个模型，其中一半使用苹果的CoreNet库进行了预训练（原始模型），另一半经过了特定指令微调以增强其效用（更适合开发AI助手和聊天机器人），所有八款OpenELM模型都能处理至多2048词。这一系列模型现在可通过Hugging Face Hub（一个供AI开发人员分享及合作的热门平台）访问。

这些模型的其中一个显著特点是它们使用了分层缩放策略，优化了Transformer 模型各层之间的参数分配。这种方法不仅节省了计算资源，还提高了在相对较小数据量上的训练性能。例如，在所需的预训练token数量减半的前提下，OpenELM相比于以前的模型（如OLMo），准确率仍提高了2.36%。

值得一提的是，苹果不仅公开了OpenELM模型的源代码，还发布了用于训练它们的CoreNet库。此外，该公司还附带了详细说明使得可以复制神经网络的权重系数，如此程度的透明度水平并不常见。通过发布源代码、模型权重、训练材料及日志，苹果表示其目标是“以最先进的语言模型赋予并丰富开放研究社区”。

论文链接：https://arxiv.org/pdf/2404.14619

编辑：左右里

资讯来源：Apple官网、Applemagazine

转载请注明出处和本文链接

球分享

球点赞

球在看

戳“阅读原文”一起来充电吧！