英伟达SparDA预取有用吗？
数据说话，到底快了多少？光说思路没用，得看实际效果。官方数据是这么说的：在128K超长上下文的场景下，解码速度最高提升1.7倍，吞吐量最高提升5.3倍。预填充阶段也有1.25倍加速。关键是，增加的这个“预测器”只增加了不到0.5%的参数——相当于几乎没额外成本，白捡的加速。不过注意一个细节：这些数据是在“稀疏预训练的8B模型”上测的。也就是说，模型本身得是稀疏的才行。如果你的模型不是这种类型，效果可能要打个问号。另外，5.3倍的吞吐量提升是通过“支持更大批次处理”实现的——不是说单次请求快5倍，是同时处理更多请求的时候整体效率上去了。
发布于 北京
分享
评论
1
未登录
友善发言
评论
加载中
