开源模型微调，选LoRA还是QLoRA？
GLM-5.1
DeepSeek-V4
Qwen3.7
做了 5 年算法工程师,公司让把 V4 微调上车,LoRA 还是 QLoRA 让我拿方案。LoRA rank=64 拉满, V4 14B 模型 24G 显存, 单卡 A100 就能起。 QLoRA 用 4-bit 量化塞进去, 显存砍到 11G, 笔记本 4090 也能跑, 每步多耗 30% 时间。截图存云盘跑了全年, V4 上 LoRA 在我司业务从 71% 拉到 84%, QLoRA 只到 79%, 差 5 个点。 Qwen3.7 反过来, QLoRA 比 LoRA 高 2 个点。 GLM-5.1 两者持平 82% 左右。踩坑实录: QLoRA 加载 GLM-5.1 20B 时 nf4 崩了一次, 切 fp4 救回来。 LoRA 接 V4 时 peft 版本低于 0.10 报错, 升 0.11 修。老板最后拍板: V4 上 LoRA, Qwen3.7 上 QLoRA, GLM-5.1 默认 LoRA。 数据全在截图里。#DeepSeekV4 #Qwen3.7 #GLM5.1 #LoRA微调 #算法工程师
发布于 内蒙古
分享
评论
赞
未登录
友善发言
评论
加载中
