布林：Transformer能通向AGI
布林在DeepMind Build Day说Transformer能通向AGI，紧接补了句"但它已经变了"。这话说得实在。2017年那篇论文里的Transformer和现在根本不是同一个东西——MoE稀疏化、线性注意力子层、思维链推理全是后加的。Jamba和MambaFormer已在试水混合架构。更狠的是布林透露谷歌内部在搞"用AI构建AI"，等于承认光靠人设计架构可能不够。我特别认同他说的能力跨领域收敛——训练代码反而提升数学推理，训练图像又改善几何理解。对职场人来说别纠结学Mamba还是RWKV，先把注意力机制吃透。融合才是终局，纯架构之争是伪命题。
发布于 江西
1
1
1
未登录
友善发言
评论
加载中
