曝字节计划训练超5万亿参数大模型
据媒体报道，字节跳动内部正在讨论训练一款参数超 5 万亿的超大参数大模型，规模高于阿里 Qwen3.8‑Max（2.4 万亿）、月之暗面 K3（2.8 万亿），或将成为国内已知参数规模最高的大模型36氪。该项目尚处于早期讨论阶段，不代表最终一定落地发布。项目由 Seed Foundation 负责人项亮牵头，联合预训练数据负责人沈科推进，Seed 团队正在调整组织架构、调配算力与数据资源。张一鸣在内部全员会表态，接受阶段性模型能力落后，坚持不采用蒸馏走捷径，拒绝被编码能力这类短期热点裹挟，目标冲击全球第一梯队大模型能力，同时推动火山引擎、飞书、豆包资源协同，夯实算力与数据底座。超大参数模型训练将带来巨额算力、电力成本压力，推理成本、落地商业化均是核心挑战，参数规模不等于实际产品性能，训练、数据、工程实现同样决定最终效果。
发布于 湖南
2
评论
赞
未登录
友善发言
评论
加载中
