Qwen3.8Max开源，如何更好本地化？
千问2.4T开源了，但你的电脑可能跑不动8月12日深夜，阿里把Qwen3.8-Max的权重正式开源了。2.4万亿参数，MoE架构，能自主编程16天。本来想第一时间本地部署试试，查完配置直接劝退了——4-bit量化最低需要约1.2TB显存，得2-3台8卡H100/A100服务器集群才能跑起来，硬件成本400-600万。好消息是阿里同步开源了Qwen3.8-27B轻量版，个人开发者用24GB显存的消费级显卡就能跑。我打算用Ollama或llama.cpp部署27B版本，已经有人在Unsloth上跑通了。完整版让大公司去卷吧，普通人用27B已经够用了。你准备跑哪个版本？
发布于 江西
分享
评论
赞
未登录
友善发言
评论
加载中
