黄仁勋：AI 核心竞争力将转向内存
很多人觉得HBM短缺是芯片厂商和供应链的事，跟我们写代码的没关系。但我在实际工作中发现，内存供给紧张正在直接影响工程决策。比如公司原本计划用H100集群做长上下文推理，结果发现显存不够，项目延期；本来想上线一个128K上下文的Agent，算完成本发现KV Cache占用太夸张，只能砍到32K。黄仁勋说短缺会持续数年，这意味着未来两三年内存成本会一直是AI项目预算的大头。作为全栈工程师，我现在做方案设计时，第一件事不是问"这个模型效果好不好"，而是问"这个模型推理一次要吃多少显存、上下文能不能剪枝、能不能做量化或缓存复用"。这些以前偏底层的问题，现在成了业务能不能落地的关键。
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
