射线
分类
空间
视频世界模型困在像素网格里:腾讯开源SCoPE,用射线空间重写位置关系2026年08月24日06:01机器之心Pro视频模型与世界模型,究竟应该在什么坐标系里工作?
文章
它说明,世界模型可以把token组织在观察世界的射线空间中,而不再只依赖排列视频数据的像素网格。
文章
对于下一步可导航、可交互的生成世界,射线空间提供了一种真正属于世界模型的坐标系。
文章
而在射线空间中,同一个观察位置仍然对应同一个射线地址,看过的地方没有因此换掉自己的位置和身份。
文章
SCoPE(Sightline-CoordinatePositionalEncoding),一套面向视频DiT的射线空间位置编码:让视频模型处理位置关系的基底从张量网格转向射线空间。
文章
它讨论的核心由此变得清楚:视频世界模型的位置坐标可以从像素网格走向描述观察世界的射线空间。
文章
坐标
Revisit一致性也由此成为射线坐标带来的性质。
文章
来路与归途共享射线坐标,attention可以直接重新建立两者之间的联系。
文章
模型越大,SCoPE的优势反而越明显,说明射线坐标并非针对小模型的局部修补;
文章
SCoPE将相机射线坐标注入VideoDiT,让模型在比较token时同时看到内容与视线之间的关系。
文章
SCoPE直接根据相机运动,为每个视频token计算对应的观察射线,并将射线坐标注入视频DiT。
文章
关系
单条射线不确定深度,两条射线的关系却能帮助建立三维对应:当内容一致、射线相交,两个token就可能指向同一个三维点。
文章
画风改变会移动视觉特征分布,相机中心、观察方向和射线关系仍采用同一种几何描述。
文章