LoopWM世界模型长时序稳吗？
说真的，看完 LoopWM 的技术报告，我承认自己有点"被打脸"的复杂感受。过去这两年我每遇到长时序发散、误差雪崩，第一反应永远是"再叠两层""再把 hidden size 翻倍""再加点数据"——本质上把"更深=更好"当成不可质疑的铁律。结果 FaceMind 一个 20 人的中国 Neolab 告诉我：你不需要更多层，你需要同一组参数被反复用对的方式。Recurrent Block 用参数共享在潜空间"慢炖"，Prelude 先理清状态+观测+动作，Coda 才送出去预测，简单帧 1 次迭代、复杂交互 10+ 次——平均省 78% FLOPs、50 步累积误差降 63% 的背后，是它把"稳定地深"摆到了"盲目地深"前面。ScienceWorld 上 1B 模型 68.4% EM 把 Claude-opus-4-6-max 的 47.2% 甩开，Lifespan 0%→100%，AlfWorld 51.6% EM、80.4% Token F1——这些数字戳中我的不是"又破纪录"，而是我突然意识到：以前堆出来的"深度红利"，很多其实是靠工程 trick 在硬压训练崩溃的假象。LoopWM 那个谱稳定性约束，相当于给循环上了安全阀。我决定明早把组里那个堆了八层 Transformer 的 baseline 翻出来重审——不是不自信，是终于看清楚，焦虑从来不在参数不够大，而在对深度的控制力不够稳。
发布于 福建
1
评论
赞
未登录
友善发言
评论
加载中
