曝字节拟训练超5万亿参数大模型
曝字节拟训练超5万亿参数大模型，我觉得整件事最有意思的细节，是张一鸣关于蒸馏的表态！他说，蒸馏虽然能在短期内提升模型表现，但本质上是在复制Claude已有的能力，沿着这条路走，只能无限逼近对方，很难真正实现超越。这话其实点到了国产大模型的痛点。现在很多模型刷榜靠的是“借鉴”别人，真正从底层创新的有几个？不过字节选择了一条更苦的路：不蒸馏、不抄捷径，哪怕暂时落后也要自己趟出来。这家公司从做推荐算法起家，信奉的是“大力出奇迹”，但做基座大模型不一样，不是靠堆人就一定能成。张一鸣说的“延迟满足感”，字节能不能做到，大家等着看。
发布于 广东
1
评论
赞
未登录
友善发言
评论
加载中
