logo
熊二爱上光头强
08-03·安恒信息员工
国产算力跑大模型，和英伟达差在哪？
国产算力跑大模型这事最近讨论很多，我说下实际接触到的感受。差距不在单卡算力，国产芯片纸面参数已经不差了。真正卡脖子的是生态，CUDA积累十几年，工具链成熟，调优经验丰富。国产芯片软件栈还在补课，很多算子要手动适配，折腾一周不如英伟达开箱即用。分布式训练也差一截，多卡互联效率、混合精度稳定性，不是堆硬件能解决的。推理侧好一些，量化部署差距在缩小。短期推理场景国产能用，训练侧还得等生态成熟。
发布于 江西
分享
评论
赞
未登录
友善发言
image-upload
评论
加载中