黄仁勋：AI 核心竞争力将转向内存
GTC 台北大会上黄仁勋提出全新判断，AI 行业竞争重心会从单纯比拼 GPU 算力，全面转向内存体系架构，这番观点彻底颠覆过去两年行业堆卡内卷的思路，做算力集群、大模型落地的同行都值得重新梳理架构思路。前两年行业比拼 FP 算力、GPU 数量，可当下长上下文模型、多 Agent 并发推理场景里，绝大多数集群都出现算力闲置、内存先打满的内存墙问题。海量 KV 缓存、百万级上下文存储极度消耗 HBM 显存，HBM 产能持续紧缺、硬件成本占服务器一半以上，单纯叠加 GPU 无法解决吞吐瓶颈，内存带宽、分层存储调度才是决定并发与时延的关键指标。英伟达同步推出 ICMS 上下文内存平台，通过分层存储把闲置 KV 缓存下沉至高速存储，缓解显存压力，搭配 CXL 内存池化技术，大幅降低单 Token 运营成本。长远来看，企业自研存储调度、定制内存分层架构，会形成别人难以复制的落地壁垒，而非单纯靠采购高端显卡拉开差距。对国内 AI 基建团队而言，不要再盲目堆算力资源，优先优化内存管理、搭建多级存储体系，适配长文本与智能体业务。未来不管是模型推理成本控制，还是大集群承载能力，内存架构能力才是拉开行业差距的核心竞争力。
发布于 山西
1
评论
赞
未登录
友善发言
评论
加载中
