杨夏
长江存储冲刺IPO
KAIST电气工程教授，IEEE fellow，被誉为“HBM之父”，在HBM的信号完整性、TSV和3D封装领域有长期领先研究贡献的金正浩教授，在最近一次采访中说到，1. GPU在AI（尤其是推理阶段）利用率低，实际有效工作时间只有10%2.剩余90%的时间，GPU都在等待内存中的数据到来，基本上是在闲置3. AI输出一个单词的答案时，都需要从HBM读取数据并重新写入，而这个读写时间几乎占用了全部时间4. 即使优化算法，GPU也很难超过30%的利用率金教授强调“AI能力最终由内存决定”，AI本质上就是内存。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
