曝字节拟训练超5万亿参数大模型
张一鸣说，字节可以接受AI暂时落后。转头内部就在讨论——训练一个5万亿参数的大模型。5万亿什么概念？国内现在最大的模型也就2万多亿。字节这是要把同行甩开两倍还多。消息是从《晚点 LatePost》流出来的。项目由Seed Foundation的项亮牵头，预训练数据负责人沈科配合。团队正在重新梳理组织架构，为这场“豪赌”让路。外界看着挺猛，内部其实有点焦虑。Seed 2.0出来，市场反应平平。竞争对手那边，Kimi K3靠着编程能力拿下不少口碑。智谱GLM-5也在抢份额。字节靠视频模型Seedance撑着场面，语言模型这块，压力不小。梁汝波在全员会上说得直接——坚持自研，打好基本功，短期落后可以接受。这话背后有故事。张一鸣之前在Seed内部会上发过火，明确反对“蒸馏”——就是用别人大模型的输出来训练自己。在他看来，这跟抄作业没区别，看着分数上去了，真本事一点没长。所以字节选择了另一条路。一条更烧钱的路。训练5万亿参数的模型，算力消耗是天文数字。有业内人士估算，单次训练成本可能高达数亿美元。还不一定能成。但字节的逻辑很简单——视频模型Seedance就是这么打出来的。把预训练做到极致，资源砸够，最后跑出来了。现在语言模型，再来一遍。问题是，这招还能奏效吗？马斯克的Grok已经喊出6万亿参数的目标了。OpenAI也在闷头搞更大的。字节这时候冲进去，不算早，但也不算太晚。只是，5万亿参数的模型，到底能解决什么问题？比现在多花几十倍的钱，换来的提升值得吗？评论区聊聊你的看法。
发布于 河南
1
1
2
未登录
友善发言
评论
加载中
