英伟达SparDA预取有用吗？
传统稀疏注意力有两个硬伤：KV缓存越涨越占显存，放CPU内存吧，来回传又堵车；光筛选哪些记忆相关这一步，复杂度就是O(T²)，上下文一长直接变瓶颈。SparDA的思路是给每层加个“预报员”（Forecast），在当前层算的时候，提前预测下一层需要哪些记忆块，异步预取过来。翻译成人话就是：你还没翻页，书已经给你摊好了。结果呢？128K长上下文中，解码提速最高1.7倍，吞吐量暴涨5.3倍，准确率还持平或微涨。模型参数只多了不到0.5%，不用重新训练整个大模型。能不能落地，还得看工程实现和实际场景适配，但这个思路挺有意思——用预测换延迟，把等待时间藏起来。
发布于 江苏
分享
评论
赞
未登录
友善发言
评论
加载中
