黄仁勋：AI 工厂取代数据中心，算力即电力
黄仁勋说现在核心指标不再是FLOPS，是Tokens per Watt（每瓦特产出token数），作为做系统优化的人，这句话我等了三年了。以前大家比GPU就比谁FP16算力高，谁TFLOPS数字大，好像算力高就一定快，实际上根本不是那么回事。FLOPS是理论峰值，实际推理的时候能跑出理论值的30%就算不错了，大部分芯片算力都浪费在内存等待、通信延迟、调度开销上了，你算力再高，数据喂不进来也是白搭。为什么Tokens per Watt这么重要？因为AI工厂最大的成本是什么？不是芯片折旧，是电费。一个万卡集群一年电费几个亿，同样一度电你多产出一倍token，成本直接降一半，这才是真金白银的竞争力。Vera Rubin说350倍推理性能提升，肯定不是算力提升了350倍，是系统级优化，从芯片架构、内存带宽、互联拓扑、推理框架、调度算法全栈优化，把每一度电的价值榨干。现在很多公司还在比谁买的GPU多谁集群大，这都是粗放式思维，下一阶段是精细化运营，同样的卡同样的电，谁能跑出更多token谁就赢，AI工厂厂长就是要抠每一度电的产出，跟传统工厂抠良品率抠能耗一个道理。我们团队现在一半的精力都在做推理优化，量化、剪枝、KV缓存优化、动态batching、投机采样，各种手段全上，每优化10%的吞吐都是几百万的成本节约。以前觉得性能优化是边角料，现在这就是核心竞争力。有没有同样在做AI系统优化的脉友？你们现在优化到什么水平了？
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
