吴贶
很多人感觉大模型LLM好像不适用小模型的算法。其实，不是“小模型算法完全失效”，而是适用场景、设计目标和优化范式发生了转移。不是大模型LLM“不适用”，而是“不再万能”。大模型 ≠ 抛弃算法，而是换了优化重心，算法没有消失，只是从“结构设计”变成了“训练 & 对齐策略设计”。大模型落地绕不开的一个问题是：太大、太贵。而“小模型算法”不是在和大模型竞争，而是在为大模型服务。在 LLM 的推理链路中，经常能看到小模型作为辅助模型。换句话说：大模型负责“天花板”，小模型负责“地板效率”。很多在小模型上“精巧”的算法，在 LLM 面前：增益太小，实现复杂，不 scale，于是被社区自然淘汰。今后，我们要学会用 LLM 作为工具，去增强小模型，也可以说，LLM 生成数据 → 训小模型
发布于 浙江
分享
评论
1
未登录
友善发言
评论
加载中
