生成的世界也能交互！牛津大学&莫纳什大学&布里斯托大学等团队提出交互式视频世界模型Oneira
最近，来自牛津大学&莫纳什大学&布里斯托大学的团队提出了交互式视频世界模型 Oneira，将这类模型从开放式的生成走向开放世界的交互。
现有的视频世界模型已经能够随着镜头的移动不断生成新的场景，但智能体在其中通常只能导航，或进行一些简单的交互。Oneira 通过 Coding Agent 维护的 World State Table 记录场景中的物体及其状态。无论是输入图像中已有的物体，还是镜头移动时新生成的物体，Oneira 都能精确地改变它们，并让改变后的状态在后续视频中持续保留。
本文的第一作者是杨昕迪，现为澳大利亚莫纳什大学博士生，博士导师是黄田津教授和蔡剑飞教授，主要的研究方向是视频生成模型和世界模型。
Project Page: https://madaoer.github.io/projects/oneira/
Paper: https://arxiv.org/abs/2610.01614
Code: https://github.com/Madaoer/Oneira
引言
视频世界模型近年来取得了巨大进展，已经能够支持导航和简单的交互。然而，相信大家在使用这些模型时会发现，当需要改变场景中的某个特定物体时，模型常常作用在错误的对象上。即使交互对象正确，镜头移开再返回之后，物体的变化也常常消失。
研究团队认为，这一局限源于现有模型没有单独记录世界的状态。场景中有哪些物体、哪些物体发生过变化，都只存在于生成的画面和上下文中。因此，模型难以区分场景中的各个物体实例，只能依靠文本描述推断要交互的对象。交互的结果也只存在于生成的画面中，随着视频的推进容易丢失。游戏引擎和传统模拟器虽然能精确地记录每个物体的状态，但场景和物体都需要预先构建，无法随着生成的内容扩展。
为突破这一局限，研究团队提出了交互式视频世界模型 Oneira，将“世界中发生了什么”与“画面如何呈现”分开处理。
前者由 Coding Agent 负责，它通过 World State Table 记录场景中每个物体的位置和状态。给定一个动作或目标后，Coding Agent 先读取 World State Table，确定要交互的物体并规划交互，再将交互的结果写回表中。对于镜头移动时新出现的物体，Coding Agent 会在生成的画面上调用 3D 感知工具，得到它的 3D BBox，再将其加入表中。因此，World State Table 能够随着生成的内容不断扩展，生成画面中新出现的物体也可以直接进行交互。
后者交由 Video Generation Model 完成。Engine 先将 World State Table 渲染为简化的条件视频，真实的外观、动作和交互细节再交由 Video Generation Model 补全。
实验结果表明，Oneira 能够精确地改变指定的物体，并在长视频中持续保持改变后的状态。这一成果验证了通过 World State Table 单独记录世界状态、让生成的世界真正可交互的可行性。
方法