暗物志
06-23·AI领域创作者
DeepSeek R1vsQwen3.7,推理速度谁更快?
GPT-5.5
Qwen3.7
GLM-5.1
3年数分拆R1,Qwen推理慢8秒
年数分拆了 3 年的我,今年跑了整整一年的 R1 vs Qwen3.7 推理速度对比,今天直接说结论:R1 推理慢 8 秒,是真的,但只在你不知道调参的情况下才成立。去年 9 月第一次拿 R1 跑 200 道 GSM8K,Qwen3.7 18 秒跑完 R1 26 秒才出来。我当场拍了段录屏对比发给同事,同事回我一句:兄弟你是不是没开 vLLM 的连续批处理?我以为这是常识。后来把 R1 切到 TensorRT-LLM 加速 + INT8 量化,重新跑同一批题:R1 13 秒 Qwen3.7 15 秒,反而 R1 快 2 秒。这 8 秒差距,本质上是工程优化差距,不是模型本身。Qwen3.7 推理速度的稳定性也没吹的那么稳,并发上 50 之后 P99 飙到 1.8 秒,R1 一直压在 1.2 秒以内。录屏对比图已经整理好,3 段录屏 R1/Qwen/GLM 同题跑分自取。#AI产品点评 #AI编程 #大模型横评
发布于 内蒙古
分享
评论
未登录
友善发言
image-upload
评论
加载中