斯坦伯格：AI的新瓶颈是注意力
斯坦伯格这个人挺有意思，卖了公司退休后又回来搞AI，OpenClaw一把干到GitHub星标第一。他说AI的瓶颈是注意力，不是算力，我越想越觉得对。现在大模型context window动不动200K、2M，但窗口大不等于记得住，"上下文腐烂"这事儿做Agent的开发者都踩过——信息塞太多模型反而抓不到重点。我跑长链路任务经常遇到，前几步的决策到后面就丢了。注意力机制本质是个资源分配问题，不是堆算力能解决的。与其卷窗口大小，不如想清楚怎么让AI知道什么该关注什么该忽略。
发布于 江西
1
评论
1
未登录
友善发言
评论
加载中
