Qwen3.8Max开源，如何更好本地化？
昨天Qwen3.8-Max权重正式开源了。2.4万亿参数，MoE架构，每Token激活950亿参数——数字确实漂亮。群里好几个同事已经跃跃欲试要本地部署。但我泼个冷水：别被“激活95B”骗了。MoE架构虽然每次只调用部分专家，但2.4T总参数的权重你得全量加载到显存里。4-bit量化最低需要1.2TB显存，企业级部署得2-3台8卡H100服务器集群，硬件成本400-600万。个人电脑？别想了。那普通人能干嘛？两条路：要么走API（输入6/百万tokens），要么等27B轻量化版本。Max是旗舰，但不是给你放桌面上跑的。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
