斯坦伯格：AI的新瓶颈是注意力
OpenClaw创始人Peter Steinberger在AI Engineer大会上说了一句话，让我当天晚上失眠了。他说：“去年我的最大限制是Token数量，后来是计算资源，现在变成了注意力。”我们公司上个月跑一个长链路Agent任务，一夜烧了四千多万Token，账单出来时财务总监脸都绿了。可翻日志发现，Agent有一大半时间在反复读取中间段落——斯坦福2023年那篇《Lost in the Middle》早就指出，模型对长文本的注意力呈U形曲线，中间区域直接被忽略。能装进去和能有效利用是两回事。Token不够可以买，算力不够可以租，但注意力不够——你连问题出在哪都不知道。现在老板问我“为什么AI效率提不上去”，我不知道该回答算力、Token还是注意力。三个瓶颈叠在一起，哪个都不是我一个人能解决的。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
