黄仁勋：AI 核心竞争力将转向内存
老黄最近在GTC会后采访和几个分析师会上反复提的“AI核心竞争力将从算力转向内存”，听着像卖HBM3e的铺垫，但拆开看——他是在给“计算饱和”时代画句号，给“内存墙”时代写序言。先理解他说的“转向”是啥：过去五年，AI拼的是“算力密度”（FLOPS/Watt），谁的GPU多、谁训得快，谁赢。但从Hopper到Blackwell再到Rubin，计算单元的利用率已经接近天花板，再堆FLOPS边际收益递减。真正的瓶颈变成了“数据搬运”——把几百GB的参数从HBM搬到SRAM、再从SRAM搬到计算单元的速度，决定了你GPU到底能跑多快。老黄点出的“内存竞争力”拆三层：HBM带宽与容量：H100的HBM3是3.2TB/s，B200的HBM3e是8TB/s，Rubin预计上HBM4直奔16TB/s+。谁先拿到更高带宽的HBM，谁的大模型推理吞吐就比别人高一截——这不是优化能补的，是物理极限。NVLink+C2C互连：单卡内存不够，要靠NVLink把多卡内存池化。B200的576GB统一内存池，Rubin目标直奔TB级。“内存竞争力”在这里变成“你能不能把几百张卡的HBM当成一块内存用”。国内对照：华为昇腾910C在HBM上被卡得最疼——HBM3e供应受限，只能用HBM2e替代，带宽直接差一代。这解释了为什么华为在推“算力网络”（把多卡内存通过高速互联池化），本质上是用工程补物理的缺。国内AI芯片接下来的胜负手不在FLOPS，在“能不能拿到HBM3e/HBM4”。打工人启示：做AI Infra/推理优化的：别再只盯着算子优化，“内存层级管理”（HBM→SRAM→Registger的搬运调度） 会是未来两年最值钱的技能。能帮公司省30%数据搬运开销的人，比能训大模型的人更稀缺。做芯片/硬件的：HBM封装、近存计算、C2C互连 这三个方向，接下来五年是黄金赛道。国内在封测端（长电、通富）已经有布局，但设计端（HBM控制器、内存池化芯片）缺口巨大。所有AI从业者：理解“内存墙”这个概念，会成为面试高频题——“你怎么解决大模型推理的内存瓶颈？”准备好答案。老黄这话是在给英伟达的下一代护城河画图纸。你们团队在优化模型时，是卡在计算还是卡在内存搬运？评论区聊聊。
发布于 山西
1
评论
赞
未登录
友善发言
评论
加载中
