向AI未知之境出发,字节跳动启动 Seed Edge 研究计划!
2025-1-23 10:34:0 Author: mp.weixin.qq.com(查看原文) 阅读量:2 收藏

为支持以更长周期攻坚 AI 课题,豆包大模型团队正式启动 Seed Edge 研究计划!
Seed Edge 以寻找通用智能的新方法为目标,专注于对智能边界的探索和长期研究挑战。
Seed Edge 鼓励探索更长周期、具有不确定性和大胆的 AI 研究课题,也鼓励跨模态、跨方向的交叉合作,为项目成员提供宽松的研究环境,并实行更长周期的考核方式,让大家可以放手去挑战真正颠覆性的 AI 课题!
目前,Seed Edge 初步确定了五大研究方向,将为所有入选课题提供单独的算力资源保障。Seed Edge 初步研究方向包括:

探索推理能力的边界

以 o1 为代表的技术路线证明了推理能力可以推动智能边界提升,我们也在实践中发现对推理能力的研究才刚刚开始,有大量未探索的问题值得去深耕。无论是预训练算力级别的大规模强化学习,还是预训练和强化学习的迭代,或是可泛化的 Test-Time Scaling ,每一项技术突破都会推动智能边界前进一步。

探索感知能力的边界

我们相信智能和交互是相辅相成的,通用模型除了有极高的智能水平,还需要具备极强的和人类沟通交流的能力。我们会统一生成和理解表示,探索世界模型建模;从真实世界原始数据直接进行压缩,探索比语言更好的对世界进行表示的建模,突破智能的边界受限于语言的约束。

探索软硬一体的下一代模型设计

Transformer 的高效很大程度上取决于它与 GPU 的适配性,能充分发挥 GPU 的性能。我们希望面向下一代训练和推理硬件的结构特点设计下一代模型,从软硬件一体的角度思考未来的模型结构特性,达到训练效率、推理效率、模型性能的多目标同时优化,并进一步压榨下一代硬件的能力,突破模型能力的边界

探索下一代学习范式

探索对未来的学习范式有变化的方向,挑战现有范式的“共识”,给更高效地实现通用智能提供基础和可能性。通过可解释性研究理解模型学习能力的来源,并进一步提出新的学习视角,探索模型在学习过程中的表现,和生物启发的学习过程对比,发现现有模型学习范式可以改进的空间:探索比 Next-Token Prediction 更高效的学习目标;探索比 Backpropagation 更高效的学习方法;探索比大数据 Pretraining + Alignment 更高效的学习范式。

探索下一个 Scaling 方向

继 Pretraining Scaling 和 Test-Time Scaling 之后,下一个 Scaling 方向对未来智能边界的演化会起到重要的作用。探索下一个 Scaling 方向,并推动智能边界的进步。
 点击“阅读原文”,加入豆包大模型团队 

文章来源: https://mp.weixin.qq.com/s?__biz=MzI1MzYzMjE0MQ==&mid=2247512925&idx=1&sn=b2ffcca4f0524c3de6ce65a8c7b03369&chksm=e9d378bfdea4f1a9911223e88de730a704de58766df39ee5f74bef4d7f922523abc45e6c8281&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh