赛博摆渡人
08-06·技术支持·4年
张一鸣说:AI 大模型宁可落后,也不蒸馏
张一鸣罕见开口,给字节 Seed 定死规矩:不蒸馏,宁可落后。7 月 Seed 全员会上他明确表态:不靠蒸馏追进度,愿意牺牲短期收益换长期目标。这事值得说道,蒸馏在国内大模型圈早是半公开的潜规则。Anthropic 点名过 DeepSeek、Moonshot、MiniMax、智谱、阿里,名单里唯独没有字节。这次是创始人亲自下场,把潜规则摆上台面。字节为什么敢慢?内部吵了三年。2025 年 1 月 DeepSeek-R1 出来后有人提议蒸馏美国闭源模型,被否。去年底 Blackwell 大规模商用,字节 H20 算力只有 B200 的 1/50,蒸馏动议呼声最高,还是没批。7 月 Kimi K3 发布,2.8 万亿参数开放权重,又动摇一轮。三次争论,张一鸣一句话定死:闭源不能蒸,开放权重也不能蒸。执行不是嘴上说说,2023 年 4 月字节就禁了 GPT 输出进训练集,API 异常检测盯着。南华早报说他熬夜读 OpenAI 论文,一半时间砸在 Seed 上,看来不是虚的。抄作业是快,蒸馏抄得来榜单,抄不来架构。DeepSeek 的 MLA、MoE 成本优势,哪个是蒸出来的?字节选择落后几个身位,换的是训练数据来源清白。IP 审查越收越紧的市场里,干净的数据链就是护城河,也是招人招牌。做信创的都懂,贴牌一时爽,验收火葬场,自主可控这事,早晚要还。当然,别把字节想得多高尚。外界两派:一说 TikTok 合规避险,怕蒸馏美国模型再惹麻烦;一说信梁汝波 8 月 6 号全员会辟谣,延迟满足、打好地基、奔 AGI。我倾向信后半句,更想看兑现。Seed 2.1 Pro 连 Artificial Analysis 榜都没进,Arena 开发榜排 19,豆包月活 3.82 亿、ARR 40 亿美元全是存量,底层真掉队上层迟早塌。说句公道话,我乐见有人走慢路。行业卷榜卷价卷到失真的今天,不蒸馏这条路,至少让自主不是 PPT 话术。但承诺好下、兑现难,外部没法核实字节蒸没蒸过,AI Weekly 还追问:自有小模型生成的合成数据,算不算另一种蒸馏?明年这时候,看 Seed 能不能拿一款真自研旗舰出来说话吧。
发布于 陕西
1
评论
1
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn