黄仁勋：AI 核心竞争力将转向内存
老黄说AI竞争力要转向内存，很多人以为是营销话术。但我自己跑70B模型压测的时候看监控，GPU利用率长期趴在10%上下——九成时间都在等HBM喂数据。最讽刺的是什么？同等硬件下不做内存优化直接上线，你加一倍服务器节点，吞吐量也提不了15%。但我们只做了一件事——把HBM热数据、CPU内存缓存、SSD冷权重做三级调度，并发承载量直接翻了两倍多。以后别再比谁卡多了，谁先把内存调度吃透，谁才是真省钱。KV缓存压缩、显存按需卸载这些活，比再买十张卡值钱多了。
发布于 江西
8
14
9
未登录
友善发言
评论
加载中
