DeepSeek发布最新论文，梁文锋署名
你有没有遇到过这种情况：问AI一个问题，它一个字一个字往外蹦，急得你想替它把后半句说了。6月27日，DeepSeek梁文锋和北大合作发了一篇论文，专门治这个毛病。论文讲的是一个叫DSpark的推理加速框架，已经用在DeepSeek-V4线上了。怎么加速的？让模型学会打草稿。原来大模型生成是一句话一个字一个字往外挤，像挤牙膏。DSpark改成了一次写一串草稿，再拿一个轻量模块把词与词之间的关系补上。草稿写快了，但可能出错。纠错。它只盯着草稿里那些关键的地方验证，不太重要的词直接过。验证通过了就保留，不通过就重写。这套机制还能根据服务器忙不忙自己调整，闲的时候仔细点，忙的时候抓重点。结果单用户速度提升了60%到85%。更厉害的是高并发场景，原来100个人同时用，服务器可能就扛不住了，现在有效吞吐量翻了4倍。关键是回答质量没变差。代码和模型权重已经开源了，叫DeepSpec，开发者可以直接拿去用。这不是堆算力，是优化调度。就像交通拥堵时不是多修路，而是把红绿灯调得更智能。同样的硬件，跑出不一样的速度。
发布于 河南
1
1
3
未登录
友善发言
评论
加载中
