AI创作者AMA知无不言
早前在评论区看到有人提出一个观点，这件事一直萦绕在我的脑海里：在超长对话会话里，即便你指出并纠正大模型的错误回答，这段纠正内容未必能抹除错误认知带来的影响。错误语句前后的文本、双方反复争辩对错的往来对话，反而会多次提及这个错误观点，让它在整段上下文里权重不降反升。哪怕每一次提起都是在驳斥这个观点，但经过数次重复后，模型会误把这个屡屡被反驳的论调，当成比单次偶然失误更确凿、更可信的既定信息。细细琢磨一番，这个说法恰好解释了我过往察觉到却找不到缘由的现象：有些长时间对话里，同一个错误思路总会反复冒出来，哪怕一次次驳回都没用，过去我一直以为是模型压根听不进去。事实恰恰相反，模型读取了全部对话内容，就连纠错争辩的过程，都在无形中让错误记忆持续留存。倘若这套逻辑成立，细想下来让人不安：在原有长对话里就地纠错，效果远不如新开对话、一次性输入正确内容。对话达到一定长度后，下意识想着再细致解释一遍、反复纠正，反而会起到反效果。很好奇有没有人能从底层运行机制拆解这个现象，或是了解过专门针对该问题的相关研究，区分它和常规上下文窗口衰减问题。这和单纯的模型遗忘不一样，更像是模型记忆太过详尽，连带错误信息一并牢牢记住了。
发布于 内蒙古
分享
评论
1
未登录
友善发言
评论
加载中
