脉脉

暗物志

08-04·AI领域创作者

国产算力跑大模型，和英伟达差在哪？

国产算力跑大模型，到底差在哪儿？[捂脸]

最近圈里有个事挺有意思：训练DeepSeek V3.2用了2048张昇腾910C，跑了大几十天总算搞定。这事儿听着热闹，但你拿它跟英伟达H100比一比，就能看出国产算力的真实处境了。今天咱就掰扯掰扯，到底差在哪、能不能追上。

第一差在单卡性能。英伟达H100的FP16算力能到1979 TFLOPS，带宽3.35 TB/s，这俩数字是顶级卡的基本盘。昇腾910C大概能到780 TFLOPS左右，差着一倍多。显存方面H100有80GB HBM3，910C的HBM2e容量小一些，带宽也跟不上。啥意思呢？就是你拿910C跑同样规模的大模型，得堆更多卡才能勉强追上人家的速度，电费也跟着翻倍。这不是情怀能解决的，是物理层面的硬差距。

第二差在生态。英伟达CUDA搞了快20年，全球开发者都围着它转，你写的代码基本可以无缝迁移到任何一张N卡上。昇腾的CANN框架这几年进步不小，兼容PyTorch也凑合，但真到生产环境跑千亿参数模型，各种小坑还是不少：算子支持不全、调试工具没那么顺手、出了问题社区资料少。DeepSeek团队能把V3.2在910C上跑通，靠的是大量自研优化和人力硬刚，普通公司想复制这套操作基本不现实。生态这东西，急不来。第三差在互联。训练大模型不是一张卡的事，几千张卡得能快速互通有无。英伟达的NVLink加上InfiniBand，带宽延迟都是行业标杆。昇腾有自研的HCCS互联，但规模一上万卡，瓶颈就出来了。华为搞了那张互联白皮书，说要搞正交拓扑架构，思路挺对，可落地还得时间。那是不是就没法用了？也不是。中等规模模型比如百亿参数左右的，用910C集群跑推理其实挺划算，成本比H100低不少。DeepSeek V3这次能搞出2.7万亿token的训练数据量，在国产卡上跑通，本身就是巨大进步。关键是你得接受：现在国产卡适合的是推理、垂直行业落地、中等规模训练，而不是硬刚万亿级预训练。