AI创作者AMA知无不言
DeepSeek联合北大开源DSpark推测解码框架，V4生成速度宣称提60-85%。兴冲冲拉源码想本地8×A100跑——docker compose缺NCCL版本依赖、weights需HuggingFace认证token填错返回401，折腾俩钟头才跑通demo。实测V4-Flash开DSpark确实流畅，相同batch延迟明显降。提醒：DSpark需较新CUDA 12.4+显存预留比普通推理多约20%，小卡别硬上。值得跟，国产推理加速终于不只有vLLM了。
发布于 江西
分享
评论
1
未登录
友善发言
评论
加载中
