场景
分类
重建
ScanNet++、Realsee3D和DL3DV-10K提供三维场景重建和相机位姿,没有对应的人类第一视角任务录像;
文章
Xperience2为每段任务录像保留对应的场景重建。
文章
右侧依次出现扫描仪的路线与相机位姿、场景重建,以及各段HOMIEHeadset2录像的头部轨迹。
文章
网格
EPICFields、Nymeria和HD-EPIC记录了人的活动和相机位姿,但大多不提供场景网格。
文章
操作员先从多个角度扫描房间,得到带真实尺度的场景网格、三维高斯重建(3DGS)以及对应的图像、相机位姿和稀疏点云。
文章
数据
真实环境中的精确定位仍然困难,也凸显了更多开放真实场景数据的需求:让训练与评测覆盖更广泛的布局、遮挡和物体差异,并为模型提供可靠的三维标注。
文章
扫描
Xperience2在这些行为记录之外增加了场景扫描与空间对齐,让每段活动都有对应的真实环境。
文章
是一套面向PhysicalAI的真实环境与行为数据集,它将真实场景扫描与人的第一视角活动记录相结合,在同一度量坐标系中对齐场景几何、录像、轨迹和身体姿态。
文章
Real-to-Sim使用场景扫描得到的几何和外观,先把物体逐个重建出来,再加入碰撞、关节和物理属性,让它们能在仿真中被操作。
文章
RopediaXperience2把其中一部分工作提前到了场景扫描、转换和任务配置。
文章
坐标系
录像配准:录像先出现在它自己的坐标系中,再配准到场景坐标系;
文章
系统先找出录像画面在扫描场景中的位置,再把相机轨迹、双手和全身动作变换到场景坐标系中。
文章
任务
扫描结束后,操作员戴上HOMIEHeadset2,逐项完成分配给这个场景的任务。
文章
效果
场景和程序准备好后,可以继续改变初始状态、增加计算资源来生成轨迹,无需重新采集人类录像。
文章
这30条轨迹来自同一个场景、同一项任务和同一套策略程序,增加的是不同初始条件下的完整执行经验。
文章