从记忆到行动，还有多远？WorldMemArena把多模态记忆放进真实交互

来自加州大学圣塔芭芭拉分校、斯坦福大学、苏黎世联邦理工学院、约翰斯·霍普金斯大学、卡内基梅隆大学和 J.P. Morgan Chase 的研究者，联合提出多模态 Agent 记忆评测基准  WorldMemArena 。论文已被 NeurIPS 2026 接收；共同第一作者 Chengzhi Liu 与 Yuzhe Yang 均来自 UCSB。

团队盯住的是一个很实际的问题：Agent 明明保存了项目计划，预算更新后却仍按旧版本行动；看过环境截图，下一步又忽略了画面里已改变的状态。它究竟是没记下来、没及时更新，还是找到了证据却没用上？

能答出“以前说过什么”，不等 于能用 好记忆。 这正是 WorldMemArena 想追问的核心问题。

论文： WorldMemArena: Evaluating Multimodal Agent Memory Through Action–World Interaction

论文地址： https://arxiv.org/abs/2605.29341

项目主页：  https://worldmemarena-mem.github.io/

代码： https://github.com/UCSB-AI/WorldMemArena

数据： https://huggingface.co/datasets/LCZZZZ/WorldMemArena

只看最后答对没有

漏掉了哪一步？

很多记忆评测把长对话交给模型，最后用问答正确率打分。但一次答错，可能是当初没写下关键事实，也可能是新信息来了却没有覆盖旧信息；还可能是证据明明存着，检索时没找出来，或找出来后没有用进回答。把图像先压成文字描述，也容易丢掉位置、时间和操作过程中的细节。

WorldMemArena 将这些问题放到“ 观察—行动—环境反馈 ”的循环里：Agent 不只回忆对话，还要面对会变化的任务状态、网页、文件、截图与工具结果。评测因此不再只看终点，而是追踪记忆怎样影响后续判断。

主题：论文