开源大模型，哪个更适合本地部署？
Qwen3.7
国内开源大模型，我觉得最适合本地部署的还是Qwen系列。我上周就在本地跑了一个Qwen3.5-6B量化版，体验还不错，日常写代码、问知识、简单Agent都够用。不过本地部署千万别只看模型参数，更要看自己的显存。显存小就选4bit量化，速度快、占用低；显存充足可以上8bit，效果会更稳定。如果硬上大模型，轻则速度慢，重则直接爆显存。我的建议是，先根据自己的硬件选模型，再决定量化级别。先跑通，再慢慢升级，这样体验反而更好，也更省时间。
发布于 广西
分享
评论
1
未登录
友善发言
评论
加载中
