曝字节拟训练超5万亿参数大模型
字节要训5万亿参数大模型，这个数字有多大《晚点LatePost》昨天独家的消息，字节跳动正在讨论训练一个超5万亿参数的模型。做个对比，阿里Qwen3.8-Max是2.4万亿参数，月之暗面K3是2.8万亿，字节如果把这个训出来，参数规模是国内已知最大的。报道里也写得很清楚，计划仍处于早期阶段，最终是否落地不确定。这件事背后的逻辑晚点写了，字节上半年多个Seed团队在反思，觉得在现有参数规模上持续追赶意义不大，不如一次把参数量提升到同行数倍，直接争技术领先位。主导这个方向的是Seed Foundation负责人项亮，和LLM预训练数据负责人沈科，两个人都是字节内部做基础模型的核心。这是一个拉长时间轴、押大注的逻辑，跟过去频繁发版、追赶榜单那套玩法不一样。
发布于 湖南
分享
评论
赞
未登录
友善发言
评论
加载中
