Bing Bing
DeepSeek发布DSpark提速60%
DeepSeek联合北京大学正式开源了DSpark推理加速框架，高并发下生成速度提升超过60%！这个消息在AI圈引起了不小的震动。简单说一下DSpark是什么。它是一个专门针对大语言模型高并发生产环境的推理加速框架，核心目标是解决"人多的时候模型变慢"这个实际痛点。做过AI应用开发的朋友应该深有体会——单个用户调用时响应很快，但一旦并发上来，生成速度就会明显下降。DSpark的方案很有意思，它采用了一种新的推测解码机制，相比之前DeepSeek生产环境用的MTP-1基线，在同样的吞吐量下，单用户的生成速度提升了60%到85%。这个数字是实打实的生产环境测试结果，不是实验室数据。更关键的是，DSpark已经部署到了DeepSeek-V4-Flash和DeepSeek-V4-Pro的预览版服务引擎中，也就是说它已经在真实场景中跑起来了。而且相关论文、训练代码和模型检查点已经在GitHub的DeepSpec项目中完全开源。对于做AI应用开发的团队来说，DSpark的开源意味着可以直接拿过来用，或者基于它做二次优化。这可能会大幅降低大模型推理的成本门槛。你们公司有在用DeepSeek的模型吗？推理速度体验怎么样？
发布于 河北
分享
评论
2
未登录
友善发言
评论
加载中
