国产算力跑大模型，和英伟达差在哪？
咱就说实话，国产算力跑大模型，最直观的差距就两点：训练时的集群通信效率和推理时的显存带宽。之前调过几块国产卡，跑小模型还凑合，一上大模型参数，多卡并行那个通信延迟直接拉满，跟英伟达的NVLink完全没法比。而且CUDA生态太成熟了，算子库、框架优化都现成，国产卡经常要自己写适配，遇到bug还没处查。不过长远看，国产卡在特定场景（比如推理量不大、对成本敏感）还是有空间的，指望全面替代英伟达，至少得等两三年生态补上来。
发布于 广东
分享
评论
2
未登录
友善发言
评论
加载中
