Google 研究人员在 2017 年发表的 transformer 模型论文彻底改变了 AI 研究。今天最流行的大模型都是基于 transformer，它已经证明具有通用性，能用于从翻译到计算机视觉、机器人学等各个领域。但 transformer 也具有明显的缺点，最大的缺点是高计算成本。它的计算步骤数量呈二次方增长，而不是线性增长。谁将能取代 transformer？替代者的一大目标就是降低计算成本，需要更少的参数。流行的大模型如 GPT-3 有 1750 亿个参数，GPT-4 更多。替代者如果只需要十几亿参数就能达到类似性能，那么这无疑将会推动生成式 AI 的普及。

https://www.forbeschina.com/innovation/innovation/65440