张一鸣：字节不会使用模型蒸馏来推进AI能力
蒸馏本质上是让“学生模型”学习“老师模型”的输出分布，从而用更低的成本获得接近顶级模型的能力。这几乎是今天AI赛道上所有追赶者的共识——算力不够、数据不够，蒸馏就是最节省成本的办法。张一鸣选择不蒸馏，肯定不是算力层面的考量。字节不缺钱，不缺算力，缺的是“不被美国盯上”的安全感。TikTok的事刚消停，犯不着在AI上再引火烧身。但放弃蒸馏不等于放弃追赶。DeepSeek V4-Flash一天吞8万亿Token，调用量全球第一，也没听说它是靠蒸馏起家的。阿里Qwen3.8、Kimi K3走的是自主研发路线，字节想跟上，要么靠真金白银堆算力和数据，要么靠算法和架构创新。这两条路，哪条都不比蒸馏轻松。张一鸣说“愿意牺牲短期收益”，那中长期能不能追上来，就看他愿意烧多少真金白银了。这场AI赛跑，字节选了最难的那条路。值得尊重！
发布于 四川
3
5
5
未登录
友善发言
评论
加载中
