英伟达SparDA预取有用吗？
最近试了英伟达这套SparDA预取机制。之前稀疏注意力解码最大瓶颈就是KV缓存从CPU往GPU搬运，计算经常等数据拖慢吞吐。它会提前预测下一层需要的KV块，异步预取和当前层计算并行跑，不用串行等PCIe传输。同等batch下解码延迟直接压下去不少，GPU算力空转的情况少了很多。做代码助手、超长文档解析这类业务，内存交换开销大，开预取后机器承载量明显上涨。只要上下文拉得长，这套预取优化的收益完全能跑出来。
发布于 江西
分享
评论
1
未登录
友善发言
评论
加载中
