布林：Transformer能通向AGI
这两天技术圈最炸裂的消息莫过于Sam Altman回到斯坦福亲口说"Transformer的死刑已经宣判"，要知道GPT整个帝国就建在Transformer上面，连最大受益者都亲口承认这条路走不到AGI，说明内部的判断已经很明确了。他原话说的是"未来一定会诞生全新的底层架构，性能跃升不亚于当年Transformer对LSTM的降维打击"。这不是唱衰，是事实——Transformer的核心注意力机制是O(n²)复杂度，处理100K token的上下文就要计算100亿个关联对，内存和算力都是指数级爆炸。ACM在6月份发了一篇重磅文章直接用了"Post-Transformer World"做标题，明确说光靠堆参数解决不了幻觉、因果推理和物理世界理解这些根本问题。我自己在做全栈项目的时候深有体会，接LLM API做复杂业务逻辑，模型一过三层推理就开始胡说八道，这不是prompt能解决的，是架构层面的天花板。对工程师来说，认清这个现实不是焦虑，而是选方向的前提。
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
