logo
橘子在皇后镇看景色
06-26·人力HR·10年+
康奈尔TLM零成本改层有用吗？
拿34B以上大底座做对比测试，能明显感觉到TLM零成本改层上限很低。本身大模型每层容量冗余充足，重新分配前后层参数权重，基准指标波动微乎其微。复杂数学推理、多轮长文本逻辑任务，甚至会出现轻微效果下滑。底层预训练权重已经适配均匀分层结构，强行压缩后半层容量会破坏原有表征逻辑。大厂主力线上大模型，靠这套分层调整很难拿到业务收益，不如投入预算做领域微调。零成本是真的，但增益配不上复杂业务的落地预期。
发布于 江西
分享
评论
赞
未登录
友善发言
image-upload
评论
加载中