英伟达SparDA预取有用吗？
英伟达刚和MIT发了SparDA这篇工作，核心是在QKV之外加了第四个Forecast投影，提前预测下一层需要的KV块，把CPU到GPU的预取和当前层计算重叠起来。我做推理优化两年，最头疼的就是长上下文场景下KV cache把显存吃满，只能往CPU内存放，但PCIe搬运又成了瓶颈。SparDA这个预取不是简单把数据搬过来，而是让搬运和计算并行，论文里decode能到1.7倍加速，非卸载稀疏基线吞吐量最高5.3倍。对做LLM serving的同学来说，这确实是个值得跟进的点。不过它现在只验证了8B稀疏预训练模型，落地到你自己的业务还得看模型结构和硬件环境。我的建议是先读代码，把Forecast那部分实现跑通，再评估迁移成本。
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
