智谱“认领”神秘AI模型Ox Alpha
话题页都在说"国产芯片扛住了数十万亿Token"，我作为一个在算力采购上趟过坑的人，有几句不中听的。第一个问题：10万张卡是什么概念？智谱说"部署在超过10万张国产芯片集群上"。10万张。什么芯片？H20？昇腾910B？还是别的？没说。英伟达一张H100在推理上的效率，是国产芯片的多少倍？这个数据也没有。"扛住了"三个字，可能是扛住了，但也可能是烧了10倍的电才扛住的。成本算进去了吗？第二个问题：国产芯片的内存带宽瓶颈，不是优化能完全解决的。100万Token上下文，这意味着模型推理时要在显存里塞下海量的KV Cache。国产芯片的HBM带宽普遍比H100低30%-50%。这30%-50%的差距，靠软件优化能追回来一部分，但物理瓶颈摆在那。智谱说做了"大量底层内存优化"——这话没错，但优化是有上限的。等模型再大一代、上下文再长一截，这个瓶颈会不会爆发？不知道。第三个问题：免费不等于可持续。每天100万亿Token的免费供应量——这是OpenCode提供的，不是智谱自己扛的。免费期过了怎么办？价格涨多少？如果价格回到跟DeepSeek一个水平，开发者还会留下来吗？匿名测试阶段"免费+能打"的组合拳确实漂亮，但免费期的红利，永远不能当作产品的核心竞争力。一句话总结：国产芯片能跑大模型是真的，但"扛住了"和"跑得好"是两件事。跑分好看、成本可控、性能稳定，这三个条件同时满足才算真扛住。你觉得国产芯片在推理场景上的真正瓶颈是什么？内存带宽、算子支持、还是生态？
发布于 上海
分享
评论
1
未登录
友善发言
评论
加载中
