布林：Transformer能通向AGI
布林聊到的"迁移"现象，我反复看了好几遍。他说训练代码能顺带提升数学推理，练图像处理的模型，几何应用题也跟着变好，这些关联不是工程师设计出来的，是训练过程中自然冒出来的。我第一反应是：这不就是我带团队时最头疼的事吗？我们总想按模块切任务，编码归编码，数学归数学，恨不得每个能力单独搞个专家模型。现在 Gemini 这种大模型把能力往一处收敛，布林自己都说"这超出我当初的预期"。坦白讲，我去年还迷信"专病专治"，觉得通用模型是噱头，但这几段话把我说服了。迁移学习背后其实不神秘：代码、数学、推理都要求抽象、结构、模式识别和 disciplined 的问题拆解，模型在某一处变强，内部表征就会溢出到别处。可真正让我后背发凉的是另一层：工程师明明知道喂了什么数据、优化了什么目标，结果却蔓延到完全没预料的方向。这说明我们对这些系统的可控性，远比想象中弱。我既怕这种"失控的溢出"带来风险，又忍不住兴奋，也许通用智能本来就不是搭积木，而是让一个够大的系统自己吸收世界。布林说前沿 AI 不可预测得让人意外，我深以为然，下次给团队排期，我可能得少拆几个"独立模块"了。
发布于 福建
1
评论
赞
未登录
友善发言
评论
加载中
