康奈尔TLM零成本改层有用吗？
算力这么贵，这波操作值不值得跟？现在训练一个大模型烧多少钱大家心里都有数。GPU、电力、时间，哪样不是钱？康奈尔这个研究告诉你：不用多花一分钱，性能就能往上提一截。方法也不复杂改一下每层MLP的宽度配置，用余弦衰减从1.5倍渐缩到0.5倍。不用重新设计架构，不用加参数，不用多算力。当然也有局限：最优配置是在4.4亿参数模型上试出来的，更大规模的效果还要验证。但至少对准备做预训练的公司来说，这是个值得一试的“免费优化”。算力这么贵，能白嫖的性能提升，不拿白不拿。
发布于 北京
分享
评论
1
未登录
友善发言
评论
加载中
