开源模型微调，选LoRA还是QLoRA？
GLM-5.1
DeepSeek-V4
Qwen3.7
做了3年算法,跑了1周压测,GLM-5.1量化后竟跑赢了V4。团队接了RAG项目,3款开源模型都要LoRA微调,我列了Excel评分卡:V4要8卡跑通,Qwen3.7要10卡,GLM-5.1要9卡。显存压到8G后,GLM量化后竟跑赢V4,响应快12%,吞吐涨18%。Qwen3.7垫底,显存紧还崩了2次。微调到第4天,踩了个大坑。QLoRA在GLM上loss跑飞,V4稳得跟老狗一样。问了GLM官方群,说是quantization_config没配。改了bits=4,group_size=128,GLM立即稳了。LoRA还是QLoRA?老板让我选。我拿GLM压到8G后吞吐反杀V4,显存省40%,效果打平。对比表丢飞书了。结论:显存紧选QLoRA,显存够直接LoRA,GLM量化后能反杀V4是惊喜。踩了3天坑才搞定。开源模型微调,GLM-5.1这波真有点东西。#AI工具实测 #开源大模型 #算法日常 #GLM #DeepSeek
发布于 内蒙古
1
评论
赞
未登录
友善发言
评论
加载中
