曝字节拟训练超5万亿参数大模型
字节这次押注超5万亿参数，与其说是主动出击，不如说是被逼到墙角的背水一战。2月吴永辉执掌后推出的关键模型Seed 2.0市场反响有限。几乎是同一时间，智谱开源的GLM-5被认为能与Anthropic Opus系列比肩，7月Kimi K3发布后多项评测已接近海外闭源旗舰。豆包有超2亿日活，很大程度上归功于Seed，但大语言模型这块确实被拉开了差距。所以字节的逻辑很简单——与其在现有尺寸上继续追赶，不如把参数规模一次推到同行的数倍。“像一场赌博。”一位接近Seed的人士说。新模型由Seed Foundation负责人项亮主导，与大语言模型预训练数据负责人沈科合作。两人都出自字节的“搜广推”体系，项亮2016年加入，曾负责机器学习中台AML团队；沈科2018年清华毕业后加入。赌赢了，字节一步登天；赌输了，几千亿算力投入打水漂。但字节没得选——不赌，连上牌桌的资格都没有。
发布于 四川
2
评论
1
未登录
友善发言
评论
加载中
