让JEPA真正理解世界背后的生成机制,DSReg让世界模型的每一维都有了真实含义
JEPA 能不能真正理解观测背后的生成机制?
传统的 JEPA 只能保证学到的隐表征不坍缩,但却完全没有办法对应到真实生成观测数据的那些隐变量。
来自 UIUC、冷泉港实验室、布朗大学、马普所的研究者给出了肯定的回答。他们提出的 DSReg(Dependency-Sparsity Regularization)可以直接加在已经训练好的 JEPA 上,让学到的每一维都对应一个真实的世界变量,比如场景里的太阳、月亮、温度和风。整个过程不需要重建观测,不需要解码器,也不需要任何标签。
研究团队同时为 DSReg 建立了完整的理论框架,由此得到首个完全可识别的 JEPA。DSReg 可以应用在预训练表征上,直接复用现有的 LeJEPA checkpoint,达到和联合训练相似的效果。
论文标题:DSReg: Provably Recovering Individual World Latents without Reconstruction
论文链接:https://arxiv.org/abs/2610.09457
项目主页:https://dsreg.github.io/
代码:https://github.com/kunwuz/dsreg
预测得准,不等于理解得对
JEPA 不去重建像素,而是在表征空间里预测未来。它因此省掉了昂贵的解码器,也成了构建世界模型的热门路线。但少了重建,也就少了一个把表征和真实世界对齐的 “锚”。
在一定假设下,LeJEPA 学到的表征和真实世界状态之间只差一个未知的线性变换。这个变换让模型完全无法理解真实的生成机制,因为表征的每一维往往是好几个未知物理因素的混合。
这些未知的混合有时候对预测并没有影响,但却完全阻碍了模型对环境的理解。比如机器人要把杯子往左推,同时让旁边的刀保持不动。如果某个学到的变量同时混着杯子和刀的位置,调这个变量就不再只是移动杯子,而是也可能把刀一起带动,给用户带来危险。很多时候我们不仅需要让机器看上去做得对,同时也要保证它们的认知没有偏差,不然永远会有隐藏的风险。