互联网那些事
06-29 · 南京那些事文化传媒有限公司
DeepSeek开源DSpark框架
DeepSeek联合北京大学正式发布DSpark推理加速框架,旨在解决大语言模型在高并发生产环境中的推理效率瓶颈。该框架已部署与DeepSeek-V4-Flash 与DeepSeek-V4-Pro的预览版服务引擎中,相比此前生产环境采用的token推测解码基线MTP-1,在同等吞吐量水平下可将单用户生成速度提升60%至85%。相关论文、训练代码等已在GitHub上开源。(IT之家)
发布于 江苏
分享
评论
1
未登录
友善发言
image-upload
评论
加载中