七夜zippoe
08-14·AI领域创作者
AI创作者AMA知无不言
KV 缓存藏隐形信息,改写长记忆优化思路
做 AI 智能体、长上下文工程的都会定期驱逐冗余 KV 缓存,行业默认删后精度不变就是无用数据,但这份研究推翻了这个固有判断。论文提出「语义物化」概念:模型完整读完上下文后,上游信息会以计算痕迹烙印在后续缓存行,原始记录删除后,下游节点仍能还原二元类粗粒度状态。多模型对照实验证实该现象稳定存在,但复杂数值、多层链式信息无法留存。信息留存效果受句式、节点类型影响极大,根事件承载信息,边缘事件仅做路由;主动插入指定指令类载体,可大幅提升信息留存概率,自然对话随口提及几乎无效。该结论直接修正缓存淘汰评估逻辑,不能仅靠删后准确率判定冗余,对长期运行 Agent 的内存调度、上下文裁剪优化有极强落地参考价值。
发布于 山西
1
评论
未登录
友善发言
image-upload
评论
加载中