慢放
曝字节计划训练超5万亿参数大模型
8月6日晚间消息，据媒体报道，字节跳动正在讨论训练一个参数规模超 5 万亿的模型，它超过阿里的 Qwen 3.8-Max（2.4 万亿参数）和月之暗面的 K3（2.8 万亿参数），也是目前国内已知参数规模最大的模型。该计划仍处于早期阶段，模型最终不一定会发布。报道称，新模型将由 Seed Foundation 负责人项亮主导，与大语言模型预训练数据负责人沈科合作。为此，Seed 正在重新梳理组织，划分职责，分配资源。项亮与沈科均是字节跳动人工智能及大模型研发体系内的核心骨干，均出自字节的 “搜广推” 体系。针对字节讨论训练超 5 万亿参数模型的原因，报道援引接近Seed人士消息称，Seed团队认为，与其在现有尺寸上继续追赶其他大模型，不如把参数规模一次推到同行的数倍，争取领先位置。（晚点 LatePost）
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
