斯坦伯格：AI的新瓶颈是注意力
斯坦伯格说"注意力是AI新瓶颈"，我更愿意把它理解为AGI必须跨过的一道成人礼。因为人和大模型的根本差距，可能就在"注意力"两个字上。CUNY团队2026年6月的一个实验让我印象极深：他们让GPT-4o和Claude 3.5 Sonnet做经典Stroop测试——忽略词义、只报颜色。短列表上GPT-4o能拿90%以上，列表一加到40个不一致项，准确率就崩到15%左右，几乎是随机猜。可笑的是，模型能清晰复述Stroop的规则和机制，那种"我懂但做不到"特别有隐喻意味。这不就是当前所有Transformer的死穴吗——它见过世界上几乎所有知识，可一旦需要"在大量干扰里精准聚焦"，就回天乏力。我自己跑RAG管道时被这个坑得很惨：给法律合同分析接了1M上下文，以为能一次性塞进整个案卷，结果在引用第20个证据时，模型开始张冠李戴。回头一查，正是"中段失忆"在作祟——经典研究Lost in the Middle早就警告过，模型对开头和结尾关注高，中间信息经常被"算力稀释"。哪怕Gemini 3 Deep Think号称RULER 256K还保持80%以上，其它三家在256K+也基本要靠RAG兜底。所以当我看到线性注意力、Gist Token、FuncAttn这些新工作轮番出来时，我反而觉得兴奋而不是焦虑。瓶颈暴露的位置，就是创新发生的方向。从KV cache工程到MLA（Multi-head Latent Attention），从MoE专家路由到测试时计算，整个2026年的AI技术图景，几乎都在围着"注意力"打转。斯坦伯格那句话背后真正的意思是：算力够、参数够、数据够的时代已经结束，下一个十年，比的是谁能让模型"看得准、记得住、想得深"。
发布于 福建
1
评论
赞
未登录
友善发言
评论
加载中
