国产算力跑大模型，和英伟达差在哪？
最近在关注国产算力跑大模型这事，说实话差距确实在缩小但还没到能平替的程度。英伟达的CUDA生态太成熟了，从框架适配到算子优化基本开箱即用，国产卡这边还得花大量时间做适配。性能层面单卡算力差距没那么大，但大规模训练时的集群稳定性和通信效率差距明显。多卡并行的容错和恢复机制，英伟达踩过的坑比国产卡多太多了，这些经验沉淀在软件栈里。我的判断是推理场景国产卡已经能打，训练场景尤其是大规模预训练还得再等一两年。
发布于 江西
分享
评论
赞
未登录
友善发言
评论
加载中
