康奈尔TLM零成本改层有用吗？
很多人第一反应肯定是“吹的吧，零成本能提升？”。看数据：4.4亿参数的Transformer，原来困惑度16.28，改成“前宽后窄”之后直接干到14.44。他们试了四种分配方式：均匀分配、“前宽后窄”、“前窄后宽”、“中间宽两头窄”。只有“前宽后窄”有效，反过来不仅没提升还变差了。又试了三种衰减曲线——线性、余弦、Sigmoid，余弦效果最好。然后扩展到7.6亿和13亿参数模型，四种不同架构，全部稳定提升。常识推理准确率全面上升，LAMBADA困惑度全部改善。不是某个模型的偶然现象，是普遍规律。不增加任何成本，只需要改一下参数分配方式。
发布于 北京
分享
评论
2
未登录
友善发言
评论
加载中
