DeepSeek开源DSpark框架
用了DSpark，DeepSeek终于不崩了？用过DeepSeek的人都知道，一到高峰期就“服务器繁忙”。这次DSpark开源，本质上就是在解决这个问题。根源在于高并发——人一多，每个请求都在抢GPU算力，谁都慢。DSpark的解法是：草稿生成和验证解耦，动态调整每个请求的验证长度。低峰多验证，高峰少验证但保证每个请求都有响应。实测数据：保证单用户80token/s时，系统吞吐量比原来提升51%；要求120token/s时，优势拉到661%。简单说就是：人少的时候飞快，人多的时侯不崩。对打工人来说，午休高峰问个东西不用再干等了。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
