布林：Transformer能通向AGI
昨晚翻到布林那场 AGI House 的无脚本问答，越看越清醒。谢尔盖·布林，Google 联合创始人，亲口说 Transformer 能通向 AGI，但他补了一句："它已经变了。"这句话比结论本身更让我在意。2017 年那篇 Attention Is All You Need 里的原版结构，今天几乎没人原样用了。布林提到稀疏 MoE、各种工程改造，现在的 Transformer 早已不是论文里的样子。我以前挺认同"架构已死、Scaling 万岁"那套论调，觉得只要堆算力就行。可他点出的一个细节把我拽了回来：这东西"weirdly flexible"，诡异地灵活，它本来是为文本设计的，结果图像处理、视频、代码全都能吃。这种跨模态的适应性不是人类提前设计好的，是训练里自己长出来的。说实话，这让我有点不安，也有点兴奋。不安的是我们其实并不完全理解自己在造什么；兴奋的是，一条"不完美但能演化"的路线，可能比追求一个完美的静态架构更靠谱。我越来越觉得，AGI 不会从某个天才写死的公式里蹦出来，而会从一套能自我改写的系统里慢慢长出来。布林说谷歌大部分精力已经放在"用 AI 构建 AI"上，这点我信。争论 Transformer 够不够格，可能问错了问题。
发布于 福建
1
评论
赞
未登录
友善发言
评论
加载中
