王西蒙AI创客
08-14·AI领域创作者
Qwen3.8Max开源,如何更好本地化?
阿里把Qwen3.8-Max的开放权重放出来了。总参数2.4万亿,MoE稀疏激活约950亿。这是阿里第一次开源Max级旗舰模型。但完整版需要数据中心级算力才能跑。2.4万亿参数,个人电脑根本带不动。阿里也考虑到了这一点,同时放出了Qwen3.8-27B轻量化版本。个人用户想本地化部署,优先选这个。本地化部署的方法不复杂。有社区已经出了量化版本和部署教程。用Unsloth等工具可以跑起来。但量化之后模型能力会打折扣,这是本地化的代价。企业用户可以直接部署完整版,用NVIDIA GB300 NVL72这类设备。成本不低,但数据不用上传到云端,安全性和可控性更高。本地化的核心优势从来不是省钱,是数据不出境。
发布于 四川
分享
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn