柚子知AI遇
07-06·AI领域创作者
通义千问3的SWRP算法省算力吗?
千问3省算力?MoE才是真本事
看到有人聊千问3的省算力能力,我刚好上个月实际部署了Qwen3-235B-A22B,说说真实体验。先纠正一个点:网上传的什么"SWRP算法"我翻遍了论文和技术博客都没找到这个说法。千问3省算力的核心就两板斧——MoE架构和混合推理模式。MoE这块,235B总参数只激活22B,机器学习里经典的"稀疏激活"思路,训练成本比稠密模型直接降70%。我们实测4张H20就能跑满血版,显存占用是同性能模型的1/3,这账算得很明白。另一个是快/慢思考切换。简单问题走非思考模式秒回,复杂问题才开思考链。我们线上80%的请求走的快思考,推理优化省了一大截,深度学习里这种动态计算分配比一刀切高效太多。说白了,算法设计的核心逻辑就是"该省省该花花"。
发布于 上海
分享
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn