英伟达SparDA预取有用吗？
SparDA的核心逻辑不复杂。长上下文AI推理有两大痛点：一是KV缓存太大，显存放不下，搬去内存又受限于传输速度（PCIe瓶颈）；二是稀疏筛选本身随上下文增长越来越慢（O(T²)复杂度）。SparDA的解法很聪明——在模型每一层加一个“预报员”（Forecast投影）。它只有不到0.5%的参数增量，专门负责提前预测下一层需要哪些KV块，然后异步预取，让数据搬运和当前层计算重叠进行。在128K长上下文下，解码速度最高提升1.7倍，吞吐量提升5.3倍，精度不降反升。不堆算力，靠“预判”省时间——这思路放职场也通用，提前想好下一步要什么资源，比别人现找快得多。技术落地了，源码也已开源，值得关注。
发布于 江苏
分享
评论
赞
未登录
友善发言
评论
加载中
