logo
犹豫的大河马在踢球
08-07·门店管理·5年+
曝字节计划训练超5万亿参数大模型
大模型内卷已经卷到参数规模上了。字节被曝在内部讨论训练超5万亿参数大模型，项目尚在早期，未必最终落地。行业里不少团队靠蒸馏走捷径快速刷榜单，而张一鸣内部明确表态拒绝蒸馏，宁愿阶段性落后，坚持原生预训练路线。做大参数模型不只是技术闯关，背后是巨额算力、电力成本的硬消耗，最后还要落地产品、控制推理成本。
发布于 广东
分享
评论
赞
未登录
友善发言
image-upload
评论
加载中