logo
坏雷达研究所
07-13·AI领域创作者
斯坦伯格：AI的新瓶颈是注意力
AI注意力有问题，我的注意力更有问题。斯坦伯格说的"注意力瓶颈"，技术上是这么回事：现在的Transformer模型，处理长序列时计算量爆炸，注意力权重分散，导致关键信息丢失。简单说，就是AI"看不过来"。但更有趣的是另一层：AI的注意力是人设计的，人的注意力也是有限的。我们训练AI的时候，给的标注数据、选的优化目标，都是"注意力选择"的结果。如果人的注意力有问题，AI的注意力能好到哪去？
发布于 江苏
分享
评论
赞
未登录
友善发言
image-upload
评论
加载中