GPT-4 有 1.8 万亿参数
2023-7-11 19:30:39 Author: www.solidot.org(查看原文) 阅读量:26 收藏

solidot新版网站常见问题,请点击这里查看。

GPT-4 有 1.8 万亿参数

人工智能

Wilson (42865)发表于 2023年07月11日 19时30分 星期二
来自天堂的喷泉

OpenAI 今年初公布的新一代大模型 GPT-4 的技术细节泄露,它有 1.8 万亿个参数,利用了 16 个混合专家模型(mixture of experts),每个有 1110 亿个参数,每次前向传递路由经过两个专家模型。它有 550 亿个共享注意力参数,使用了包含 13 万亿 tokens 的数据集训练,tokens 不是唯一的,根据迭代次数计算为更多的 tokens。GPT-4 预训练阶段的上下文长度为 8k,32k 版本是对 8k 微调的结果。如果是在云端进行训练,以 每 A100 小时 1 美元计算,那么一次的训练成本就高达 6300 万美元。不过今天的训练成本能降至 2150 万美元。

https://threadreaderapp.com/thread/1678545170508267522.html




文章来源: https://www.solidot.org/story?sid=75482
如有侵权请联系:admin#unsafe.sh