燕青
『字节：正讨论训练超5万亿参数模型，为国内已知最大规模』8月6日，晚点 LatePost 爆料称，字节跳动正在讨论训练一个参数规模超5万亿的模型，超过阿里的Qwen 3.8-Max（2.4 万亿参数）和月之暗面的K3（2.8 万亿参数），也是目前国内已知参数规模最大的模型。通常而言，模型规模越大，智能水平往往越高，不过该计划仍处于早期阶段。该模型将由Seed Foundation负责人项亮主导，与大语言模型预训练数据负责人沈科合作。二人均是字节跳动AI及大模型研发体系内的核心骨干，并出自字节的“搜广推”体系。●项亮：本科毕业于中国科学技术大学，博士就读于中国科学院自动化研究所，2016年加入字节，曾负责机器学习中台AML团队，后调任豆包大模型Foundation团队任负责人。●沈科：2018年清华毕业，同年加入字节，现主要负责LLM预训练数据。值得观察的是，多名字节跳动人士透露，上半年多个Seed团队已开始不断反思，而这也是字节讨论训练超 5 万亿参数模型的原因之一。其中一人直言，把参数规模一次推到同行的数倍来争取领先位置的举措“像一场赌博”。两周前的Seed全员会上，张一鸣安抚了Seed成员；并表示：●训大模型本就是一件很难的事，团队不必过度焦虑。他明确一段时间内可接受模型落后于行业，希望大家以追求智能上限为目标，期待Seed模型能力能跻身世界第一梯队。●编程是当前的关键方向，并表态自己反对蒸馏。在其看来，蒸馏能在短期内改善模型表现，但本质上仍是在复制Claude已有的能力。沿着这条路走，最多只能不断逼近对方，很难真正实现超越。
发布于 上海
分享
评论
赞
未登录
友善发言
评论
加载中
