alex
简单来说，TTT（Test-Time Training）就是测试时训练，它让模型不再把「训练」和「推理」彻底切开，而是在真正解决问题时，拿眼前的数据继续训练自己，再根据预测结果与目标之间的误差，调整内部状态，甚至直接更新一部分参数。简单来说，这篇论文把长上下文问题重新理解成了一个持续学习问题。传统长上下文模型会把前文保存在上下文窗口中，每次生成新内容时，再回头查找需要的信息。论文提出的TTT-E2E则把整段上下文当成训练数据，让模型在读取过程中继续做下一个Token预测，并把读到的信息压进自己的权重。由此，上下文不再只是一张随时翻阅的作弊小抄，而开始变成真正改变模型本身的学习材料。而且值得补充说明的是，TTT和最近爆火的Agent Harness、Context Engineering 有本质的不同。
发布于 北京
分享
1
2
未登录
友善发言
评论
加载中
