曝字节拟训练超5万亿参数大模型
头部企业的技术路线博弈，体现在字节5万亿参数大模型的筹备传闻之中。张一鸣在内部会议明确表态拒绝依靠蒸馏模型换取短期榜单优势，愿意牺牲短期收益投入原生超大模型预训练，以此构建长期技术壁垒。行业内分为两条路线，一部分企业选择轻量化、低成本落地商用，字节则选择重投入、超大参数路线，两种路径未来会形成明显分化。5万亿参数模型落地后，推理成本会显著走高，如何平衡模型性能与商业化营收，是字节团队需要解决的核心现实难题。
发布于 四川
2
评论
1
未登录
友善发言
评论
加载中
