物体
分类
重新出现
我们始终无法确认:当物体重新出现在画面中时,模型是真的「记住并更新了世界状态」,还是仅仅「重新生成了一个看起来合理的画面」?
文章
这个结果也让研究团队给出了一个非常直接的核心判断:现有视频生成模型即使能生成视觉上完全连贯的画面,也几乎无法在物体重新出现时,正确恢复它在「消失期间」本该经历的状态变化。
文章
追踪
第二项是物体追踪:已知物体的大致形状后,系统能实时追踪它在三维空间中的运动轨迹,甚至能同时追踪多个物体。
文章
运动
他提出了一个叫“运动诱导孔径采样”(Motion-InducedApertureSampling,MAS)的模型,把物体形状、物体运动和相机运动三个因素统一到同一个测量框架里。
文章
消失期间环境
少数涉及遮挡的测试,也多针对静态场景(物体消失期间环境没有任何变化),无法验证模型对动态世界的记忆与推演能力。
文章
少数涉及遮挡的测试,也多针对静态场景(物体消失期间环境没有任何变化)。
文章
暂时离开视野
其中,世界模型是否具备类似人类「物体恒存」的认知能力,正成为衡量建模水平的核心标尺:当物体暂时离开视野、并在遮挡期间持续发生物理变化时,模型能否记住它的身份、推演它的状态,并在它重新出现时准确还原?
文章
一个真正合格的世界模型,应当具备类似人类「物体恒存」的认知能力:即便物体暂时离开视野,也能维持对它的身份、位置与状态的表征,并正确推演其在遮挡期间的变化。
文章
效果
恒存
心理学把这种能力叫做「物体恒存(objectpermanence)」,是人类最早建立起来的认知能力之一。
文章
物体恒存不会作为相机条件生成的副产品自然涌现,它必须被显式地纳入训练目标。
文章
形状
系统目前依赖一些较强的假设:物体的形状和运动在帧与帧之间保持相对一致,这样才能把许多极弱的测量累积成较强的信号。
文章
位置
追踪任务使用了粒子滤波算法,用1,000个粒子来表示物体位置的概率分布,每一帧根据运动先验传播粒子、根据实测数据评估权重、然后重采样,整个过程在30Hz帧率下运行。
文章
通过分析这些经过多次反弹的极微弱光信号的飞行时间,就能推算出隐藏物体的位置和形状。
文章
三维形状
第一项是三维重建:让相机在墙面前自然移动,系统能重建出墙后静止物体的三维形状。
文章
2012年,MIT的RameshRaskar团队在NatureCommunications上首次演示了用超快飞行时间成像技术重建拐角后方物体的三维形状。
文章