黄仁勋：AI 核心竞争力将转向内存
答案是一定要补，而且不用补到晶体管级别，但要理解几个关键概念。首先是内存层级：CPU内存、GPU显存、HBM、SRAM各自的速度和容量差异，以及数据在不同层级间搬家的代价。其次是显存占用构成：模型权重、激活值、KV Cache、梯度、优化器状态各占多少。第三是内存带宽对推理延迟的影响，为什么LLM推理常常不是算力不够，而是带宽被卡住了。第四是现代的内存扩展方案，比如英伟达的BlueField-4 DPU怎么把上下文内存从GPU显存里卸出来。明显感觉到面试时被问到这些底层问题的频率在增加。以前前端后端分得很清，现在做AI产品，从前端提示词到后端推理部署，整条链路上的人都得懂点内存。
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
