曝字节拟训练超5万亿参数大模型
字节跳动要搞个大动作：训练一个超5万亿参数的大模型！这什么概念？阿里的Qwen是2.4万亿，Kimi的K3是2.8万亿，字节直接翻倍往上干。我觉得Seed团队的想法很直接：与其在小尺寸上慢慢追，不如一把推到位，争取直接领先。张一鸣罕见地出来表态了，他说可以接受短期落后，不搞蒸馏那条捷径，梁汝波也强调坚持自研，不为短期波动动摇。说白了，字节这回摆出的姿态是“不抄作业，自己硬考”，但5万亿参数，算力成本是个天文数字，这究竟是弯道超车，还是豪赌一场，得看最终能跑出什么来。
发布于 广东
1
评论
赞
未登录
友善发言
评论
加载中
