AI行业迎来重磅消息！字节Seed正在讨论训练超5万亿参数超大基座大模型。先直观对比量级：Kimi K3是2.8万亿参数，阿里Qwen Max约2.4万亿。一旦落地，将会刷新国内已知大模型参数规模上限。这条消息，必须结合张一鸣内部表态一起看。在Seed全员会议上，他定下明确底线：拒绝依靠外部竞品模型蒸馏走捷径。很多人不懂蒸馏是什么，通俗来讲：借用成熟头部大模型的输出当作训练素材，快速拉高跑分，是当下很多团队快速追赶的捷径。张一鸣的判断非常清晰：蒸馏只能无限模仿别人的答案，能力上限被锁死，可以短期追分，但很难实现根本性超越。与其一直跟跑，不如砸资源强攻原生预训练。这里澄清一个关键误区：字节不是全盘废弃蒸馏技术，自家模型内部轻量化蒸馏允许使用，红线只针对抄袭竞品模型。一边放弃捷径，一边筹备5万亿参数巨型模型，这套组合棋争议巨大。支持者认为：想要冲击通用人工智能，必须掌握完整自主训练的底层基座；质疑观点也很现实：超大模型训练需要海量算力、数据、资金，单纯堆砌参数，不代表智能能力同步提升，风险极高。顺带一提，大家熟知的Seedance，字节爆款视频生成模型，正是依靠极致原生预训练跑出优势。字节希望把这套思路复刻到大语言模型赛道。一边是Kimi选择开源、追求效率路线；另一边字节押注超大参数原生基座。两条截然不同的技术路线对决，接下来整个AI圈都会紧盯字节这次实验，看大力出奇迹能不能走通。#ai #字节跳动 #大模型 #seedance #豆包 #kimi
发布于 河南
分享
评论
赞
未登录
友善发言
评论
加载中
