曝字节拟训练超5万亿参数大模型
字节刚在全员会上承认大语言模型跟海外差距在扩大，转头就讨论要训练一个超5万亿参数的模型。这个数字直接压过阿里的2.4万亿和Kimi的2.8万亿，是国内已知参数规模最大的。这是换了一张更大的赌桌。上半年Seed 2.0市场反响有限，智谱GLM-5被市场认为能跟Anthropic Opus系列比肩。字节急了，直接把参数规模推到同行数倍。但参数大不代表能力强。5万亿参数如果数据质量跟不上、训练不稳定，最后可能只是一个更昂贵的模型。项亮和沈科都是搜广推背景出身，这个项目本质上是大规模系统工程，不是纯算法研究。张一鸣说反对蒸馏、不走捷径，要接受短期落后。但5万亿的参数规模摆在这里，说是长期主义，花的可是真金白银。字节这波押注，赌的是能把资源优势变成独立产生前沿能力的训练体系。赌赢了领先一个身位，赌输了就是烧钱。
发布于 中国香港
分享
评论
赞
未登录
友善发言
评论
加载中
