机器人终于有了「任务进度记忆」！连续干活4小时，成功率超95%
余文晔，上海交通大学和上海创智学院直博二年级学生，导师卢策吾、汶川，主要研究方向为真机强化学习、人在回路后训练系统，曾作为第一作者或共同第一作者发表于 RSS、CoRL、RAL 等机器人会议、刊物
机器人叠衣服时，夹爪移动到了衣角附近，并不意味着它已经抓住了衣服。装配纸盒时，两次看起来相似的按压，也可能分别对应 “即将扣合” 和 “已经卡住” 两种迥然不同的状态。
对于长流程操作，机器人需要判断的不只是眼前有什么，还包括：刚才的动作有没有奏效，任务是否仍在推进，以及下一步应该继续执行还是调整恢复。
这正是 Value as Memory（VaM） 关注的问题。我们将价值模型近期的预测作为 “任务进度记忆”，提供给动作策略，帮助机器人利用任务进展、停滞和回退的信息选择动作。同时，VaM 通过从离线到在线的强化学习流程，让机器人不断利用真实部署中的新经验改进策略。
一镜到底，记录机器人连续自主完成任务的全过程，包括长程柔性物体（deformable object）操作和接触密集型（contact-rich）任务。在纸盒装配任务中，VaM 连续自主运行 4 小时，任务成功率达到 95% 以上，展示了长时间运行中的稳定表现。以下视频为连续记录的节选。
机器人为什么需要 “任务进度记忆”？
通用机器人策略已经能够从示范中学习多种操作技能，但把这些技能稳定地部署到真实世界，仍然面临两类困难。
第一类困难来自 部分可观测性 。相机只能看到有限视角，策略使用的观测历史也有长度限制。因此，即使输入画面十分相似，机器人实际所处的状态也可能不同，对应的合理动作也随之变化。
例如，折叠衣物时，机器人可能需要在失去接触后重新张开夹爪、调整位置，也可能需要在重新抓住衣物后保持夹紧。仅凭相似的局部画面，策略未必容易区分这两种情况。
第二类困难来自 部署经验反馈不够及时 。机器人执行任务时会遇到示范数据中无法覆盖的状态。若数据采集与训练采取串行方式，新的部署经验就需要等待下一轮训练才能影响策略，导致迭代速度减慢。另一方面，如果训练主要依赖最新采集的在策略（on-policy）数据，已有示范和历史纠正经验又可能得不到充分利用，使得样本效率降低。
VaM 围绕这两个问题展开：为动作策略补充近期进度信息，并建立能够反复利用新旧经验的在线学习闭环。
把价值预测变成动作策略可以使用的记忆（Value Caching）
在强化学习中，价值函数估计的是未来回报。在 VaM 的任务设置下，这种预测也提供了与任务进展有关的紧凑信号。
过去，价值预测通常用于评价动作、构造训练目标或提供优化权重。VaM 进一步把 近期价值预测序列作为策略输入 ，与视觉历史和机器人本体状态共同参与动作生成。我们将这一机制称为 value caching（价值缓存） 。
单个预测值提供当前进展的估计，而连续的预测则可以反映变化趋势：任务是否在推进，是否停滞，或者是否出现了回退。这些信息帮助策略区分视觉上相似、但需要不同动作的情况。