张一鸣：字节不会使用模型蒸馏来推进AI能力
就在刚刚，张一鸣在内部会议明确表态，字节不会依靠AI蒸馏提升大模型能力，哪怕短期跑分暂时落后同行。通俗来讲，模型蒸馏类似“抄学霸思路”：调用顶尖竞品模型生成数据训练自家模型，低成本快速拉高效果，也是当下不少厂商追赶进度的主流方式。此前Anthropic点名多家国内企业存在蒸馏行为，字节确实并未出现在名单中。模型蒸馏，捷径优势显而易见，数周就能快速缩小差距，但存在难以突破的天花板：蒸馏模型上限永远无法超越“老师”，还容易继承幻觉、逻辑缺陷，同时潜藏巨大合规风险，对于拥有全球业务的字节而言，跨境知识产权纠纷代价极高。选择从零原生预训练意味着巨额算力投入、漫长研发周期。好处在于掌握完整底层架构，未来可以自主迭代底层创新，不受外部技术牵制。有意思的是，字节视频模型Seedance依旧保持领先，侧面印证自研路线具备跑通的可能性。蒸馏适合创业公司快速落地抢占市场；立志长期角逐全球赛道的玩家，终究需要构建独立完整的技术底座。短期快慢只是表象，谁掌握底层原生创新能力，才能决定最终的行业上限。
发布于 北京
分享
2
赞
未登录
友善发言
评论
加载中
