萨顿：LLM有根本缺陷
WAIC上强化学习之父、图灵奖得主萨顿的观点，给狂热堆参数的大模型赛道浇了冷水，他直指当前LLM范式自带底层硬伤，并非靠扩容算力就能弥补。在他的理论框架里，现有大模型第一个核心短板是无真实目标与奖惩机制，仅以预测下一词为训练目标，不存在自主价值判断，无法分辨输出内容对错，这也是幻觉、逻辑失真频发的根源。其次，LLM只拟合存量静态文本，缺少真实世界交互形成的世界模型，只会复刻人类语言模式，不懂因果与现实规律，面对全新场景极易跑偏。更关键的是它不具备持续经验学习能力，交互结束后权重不会自主更新，无法通过现实反馈修正预判，只能依赖人工重训，和生物智能试错进化的逻辑完全割裂。即便搭配长上下文、微调、RAG，也只是缓解表象问题，解决不了底层范式缺陷。萨顿认为行业该转向经验驱动的智能体路线，依托环境交互、奖励反馈自主生成数据。对从业者而言，单纯深耕大模型微调存在长期天花板，懂强化学习、端到端交互闭环的复合型人才，才会适配下一阶段技术迭代。盲目追逐更大参数模型，很难突破LLM与生俱来的根本局限。
发布于 山西
分享
评论
赞
未登录
友善发言
评论
加载中
