靠谱阿无
07-03·AI领域创作者
AI第一线
5万张国产卡,炼出万亿大模型
以前大家都觉得,搞那种超级厉害的AI大模型,必须用国外的顶级显卡,国产卡最多打个下手。结果美团跳出来,用实打实的战绩打了所有人的脸:人家只用国产卡,就把那个叫LongCat-2.0的万亿级大模型给训出来了,而且训得还特别好。这事最难的地方在于“死磕”。三年前他们起步时,连现成的路都没有。5万张卡一起干活,麻烦事一堆:系统调度直接崩溃,几十万次计算里偶尔还会出个随机错误(比特翻转),找都找不到。团队干脆重写了一套“说明书”(软件栈),把计算精度锁死,出了错秒级恢复,硬是把训练稳定性顶到了92%以上。光“跑通”不够,还得“跑得快”。团队给模型动了手术,搞了个“零计算专家”,让模型干活时懂得偷懒,只调动需要的那部分脑子,结果推理速度直接快了50%,耗费的算力却少了一大截。实测下来,国产芯片在某些核心计算上的准确度,居然比大家迷信的国外芯片还要高。现在这个模型放出来,实力相当能打:编程能力超过了不少国际大牌,帮人写代码、做网页一把好手。最良心的是,因为它记性好(缓存命中率高),用它的成本只有别人的一半。这就不光是做个模型那么简单了。它证明了一件事:哪怕单块芯片和国外最顶尖的还有点差距,只要咱们会搭积木、会优化,靠系统配合照样能搞出世界级的成果。中国AI这条腿,现在算是真正站起来了。
发布于 安徽
1
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn