阿里近期开源了Qwen 3.8系列模型，其中27B稠密版模型表现极其亮眼，经多方测评其综合性能已达到Oups4.6或者deepseek v4 flash的水平，要知道这在3个月前可是市面上最顶尖的模型但是，Qwen3.8 27B这玩意是个开源的稠密小模型啊！其量化版本甚至可以直接在消费级设备里部署。本地小模型第一次接近了顶级在线大模型的能力，有点不可思议 对于很多在线模型厂商就要掂量下了，如果性能在此之下的模型可能要面临“一刀切”式的斩杀了。注意不是某个矩阵区域，而是低于某个阈值的全部，因为本地模型没有成本一说了我自己在个人Macbook M2 Max 32G上也尝试部署了最小的Q4量化版本并接入了DSH，但因为内存不足只能说勉强能跑起来，实际输出14tok/s且上下文太小暂时没有实用价值。不过目前看各个社区都在研究如何进一步优化性能，相信不远的将来，有个本地deepseek v4 flash级的模型应该不是梦
发布于 北京
3
评论
赞
未登录
友善发言
评论
加载中
