物体

第二项是物体追踪：已知物体的大致形状后，系统能实时追踪它在三维空间中的运动轨迹，甚至能同时追踪多个物体。

他提出了一个叫“运动诱导孔径采样”（Motion-InducedApertureSampling，MAS）的模型，把物体形状、物体运动和相机运动三个因素统一到同一个测量框架里。

如果这些参数判断错误，即使后面的动画看起来连续，运动本身也可能并不符合物体结构。

游戏引擎和传统模拟器虽然能精确地记录每个物体的状态，但场景和物体都需要预先构建，无法随着生成的内容扩展。

对于需要精确接触的任务，局部画面能够补充手指如何接近、抓持和操作物体的信息。

对漫反射物体的效果也明显不如回射材料。

系统目前依赖一些较强的假设：物体的形状和运动在帧与帧之间保持相对一致，这样才能把许多极弱的测量累积成较强的信号。

从Mesh到NeRF、3DGaussianSplatting，生成一个外观完整的三维物体已经不再困难。

即使交互对象正确，镜头移开再返回之后，物体的变化也常常消失。

追踪任务使用了粒子滤波算法，用1,000个粒子来表示物体位置的概率分布，每一帧根据运动先验传播粒子、根据实测数据评估权重、然后重采样，整个过程在30Hz帧率下运行。

通过分析这些经过多次反弹的极微弱光信号的飞行时间，就能推算出隐藏物体的位置和形状。

第一项是三维重建：让相机在墙面前自然移动，系统能重建出墙后静止物体的三维形状。

2012年，MIT的RameshRaskar团队在NatureCommunications上首次演示了用超快飞行时间成像技术重建拐角后方物体的三维形状。