英伟达SparDA预取有用吗？
做AI推理的应该都懂，长上下文场景下KV Cache占显存有多痛。英伟达这个SparDA思路挺有意思——不是让模型“死记硬背”，而是加了个“预报员”，提前预测下一层需要哪些KV块，在计算的同时就把数据从CPU内存搬到GPU显存。你还在处理当前请求，它已经帮你想好下一步要什么资源了。实测效果：解码速度最高提升1.7倍，吞吐量翻了5倍多，关键精度还没掉。我不是“唯数据论”，但这思路确实启发挺大。用不到0.5%的参数换效率翻倍，还开源了，我觉得可以关注一下。
发布于 江苏
分享
评论
赞
未登录
友善发言
评论
加载中
