对话影溯章国锋：互联网数据才是空间智能最需要的「太阳能」
从 SLAM 的空间计算到世界模型的空间智能，数据上的根本性突破，到底从何而来。
作者｜张鹏
整理｜ 徐珊
世界模型的牌桌上，坐着的已经全是重量级玩家。Yann LeCun 离开 Meta 亲自下场，李飞飞的 World Labs 发布 Marble，NVIDIA 用 Cosmos 拉起联盟，国内的大厂与创业公司也在密集进场。让 AI 理解物理世界，已经是今年的主流方向。
但模型智能的上限，最终取决于喂给它的数据。 语言模型和视频模型的成长，都建立在互联网三十年的积累上；而这一次，世界模型的牌桌上，没有任何一家的数据够得到训练基础模型所需的量级。
行业不是没有努力。从遥操到第一视角采集，具身公司都在重金投入数据。但在影溯科技创始人、董事长 章国锋看来，这些方式像伐木和挖石油，有价值但却要时间积累，耗时耗力。真正能支撑训练数据能源应该像阳光，无处不在、取之不竭。
唯一够得到互联网量级的，其实就藏在人人每天刷过的视频里，这也是他眼中真正的「阳光」。视频的每一帧里，其实都藏着这个世界的运动、物理的规律。3D数据一直都在，只是从没有人能把它取出来。
从阳光中获得能量，给 3D 世界造一块「太阳能板」，正是影溯在做的事。它要把海量视频数据转化成能直接训练世界模型的 3D 数据，让无处不在的「阳光」，第一次变成构建空间智能的能量。这家成立一年的上海公司，将在今年实现单目视频转 360 度动态场景，并开始批量转制。相较于传统实地采集再加重建的模式，这种方式的整体成本至少下降一至两个数量级，为整个空间智能赛道解决最棘手的 3D 数据底层供给难题。今年 6 月，公司完成新一轮融资，将主要投入模型训练与数据引擎的建设。
近期，极客公园创始人张鹏与章国锋进行了一次交流。这场交流里，他谈到3D数据为什么是空间智能的第一性问题，几十张卡训练世界模型的账该怎么算，以及物理世界的 ChatGPT 时刻会以什么迹象到来。
以下是本次对话精编。
01
空间智能的「阳光」
来自互联网数据
张鹏：你做SLAM 技术很长时间了，从 SLAM 这种空间计算到现在大家讨论的空间智能，你是怎么理解这个跃迁的？
章国锋： SLAM 主要做在线的三维地图重建，确定自身在空间中的方位。真正要理解这个世界，光有空间定位和 3D 重建是不够的。比如我们要能判断桌上这个杯子，碰到它，它会掉下去，里面的水会倒出来。因为这个动作接下来会发生什么，需要建立在你对真正物理世界的理解上，不只是空间定位。
所以从 SLAM（或者叫原来的空间计算）到空间智能，很大不同在于你需要真正能对空间进行理解，并与之交互，甚至推演。比如说，我在这个空间做一个行动，接下来可能发生什么，我能预判。对一个智能体来说，还能做相应的动作，真正让智能体能在物理空间上交互。
可以简单理解为空间计算是个三维问题，而空间智能是个四维问题，因为有了时间维度，这对智能提出了显然更高的要求。
张鹏：当年做 SLAM 的时候，我们找不到往智能走的路径。为什么今天大家在智能这个维度上开始有预期？背后的技术和认知变化是什么？
章国锋： 其实我做了二十多年三维，想解决的终极问题一直没有变，就是怎么教机器真正理解空间。过去一直没有一条很通用、范化性足够强的学习路径。
大模型的突破真正重要的地方，不只是语言模型本身做得有多好，而是验证了一种新的学习范式：当模型、数据和算力达到一定规模之后，很多过去很难靠人工定义的能力，是可以从数据里学习出来的，甚至会出现远超我们原来预期的能力。
这对三维领域的意义非常大。过去我们更多是在显式地计算几何、设计规则，或者使用传统的机器学习方法；现在第一次有机会让模型从大量真实世界的数据里，自己学习空间结构、运动规律，甚至进一步学习物理和预测。
语言模型证明了智能可以从大规模学习中涌现，而我们现在要回答的是，同样的事情能不能在三维物理世界里发生。
张鹏：所以Scaling 所需要的数据就成了问题。具身数据这几年的风向变了好几轮，ALOHA 带火遥操作，EgoScale 带火第一人称。但感觉这些数据似乎还是不太够用吧？
章国锋 ： 遥操和第一人称数据都很重要，但它们更像阶段性的解法。这些数据需要持续投入人和设备去采，成本高、速度慢，多样性也有限，很难真正做到Scaling。
所以我们判断，下一阶段的关键不是换一种方式继续采，而是把互联网上已经存在的海量2D影像，转化成结构化的3D/4D数据。机器人最终要在三维的物理世界里行动，3D不只是一种数据格式，更是机器理解世界、预测变化和采取行动的基础，也会成为World Action Model的核心。
我们内部的具身实验也初步验证了这一点，把3D几何表征和动作联合建模之后，模型在复杂遮挡等任务上的成功率有了明显提升。这至少说明3D这条方向是有效的。但要把这种提升从特定任务扩展到更多场景，关键还是能不能低成本、规模化地获得足够丰富的3D/4D数据。 谁能率先完成这种规模化的数据升维，谁就更有可能掌握空间智能的数据入口。
张鹏：在你看来，世界模型的路线图背后，有哪些技术支撑点要串起来？
章国锋： 空间智能其实包括空间的感知、重建、生成以及理解、交互和推演。最重要的是解决「空间骨架」的问题。当 3D 的骨架建立好之后，物理一致性很自然地可以在这上面再去学习。
2D 的很多东西定义在像素上，但物理的规律，比如说物理公式不是定义在像素上的，而是定义在 3D 空间上的，硬要对应到 2D 像素上，会带来很多额外的负担。二维图像只是局部的观测，本身存在大量冗余，也不是对世界状态唯一的表达，同一个二维观测背后可能对应多种不同的真实三维状态。模型还需要额外去维护时空一致性，过程中也容易产生误差累积。
所以把空间的骨架建立起来之后，后面很多东西就变得好学了。这也是为什么我们 做空间智能，首先要先做 3D 空间的生成，先把空间生成建立起来，后面的理解、推演就直接建立在 3D 表征上，不会有 2D 上额外的负担。 这非常重要。这跟李飞飞做的其实不谋而合，大家对这个问题的认知也越来越一致： 如果要真正理解物理世界，首先还是要建立起对三维空间本身的表征，这是一个很本质的问题。
有了生成之后，还要能理解，有预测，还有能统一。观测是理解这个世界的状态，进一步需要推演预测，再行动。举个例子，我看到一个杯子，要判断这个杯子里可能有什么，有水，抓它的时候要注意什么。 未来的空间智能模型，它一定是一个整体的模型，不会拆分成一个生成模型再加一个什么东西，而是生成、理解、预测、推演一体化。
张鹏：文本世界里人类积累了大量数据，只要敢 S caling，这件事就能实现。但在具身、空间智能的世界里，数据是个卡点。你的视角里，它到底卡在什么维度上？
章国锋： 现在这套深度学习范式，大家其实有一个共同信仰，就是 Scaling。你希望最后出现通用智能，就一定要让模型看到足够大量、足够多样的世界。
空间智能现在最大的问题，是数据的生产方式还 Scale 不起来。
大家现在最直接的办法就是采。遥操也好、第一视角也好，前面一批数据靠堆人、堆设备是可以做出来的，但越往后，新增的数据会越来越贵，而且越来越容易重复。 真正难的不是拿到一批数据，而是数据扩大一百倍、一万倍以后，还能不能持续获得新的、多样的经验。
多样性这件事我觉得很多人还低估了。很简单的例子，模型如果每天看到的都是差不多的房间、差不多的动作，即使小时数很多，也不一定能涌现出通用能力。就像你今天训练语言模型，如果不是用整个互联网，而是雇很多人每天坐在那里打字，当然也能生产很多文字，但你不会认为靠这种方式可以做出 ChatGPT，更何况是更复杂的智能。
所以采集不是没有价值，生成也不是没有价值，但这些更像我们现在「有什么先用什么」。 如果目标真的是通用空间智能，最终一定要找到一种新的数据机制，让数据的量和多样性可以持续增长，而且边际成本越来越低。
互联网已有的海量图像和视频里，其实已经包含了大量三维信息。怎么把这些信息高效地提取出来，变成模型真正能学习的 3D、4D 数据，会是其中一条非常重要的路径。但判断一个数据策略是否可行的标准其实很简单， 它必须能够 Scale，且必须能足够多样；只有数据真正 Scale 起来，空间智能才有机会涌现。
张鹏：所以空间智能 的 问题要靠3D的数据来解，而要批量拥有高质量3D数据，核心是批量有效的从2D数据升维到3D数据。那你怎么定义这个可以提供模型训练的数据质量 ？在空间智能的世界里，数据的「好」有哪些必然要实现的条件？
章国锋 ： 它一定是 3D 坐标系下的多模态数据。过去 2D 图像视频冗余很大，都只是现象，作为数据组织不够高效，说到底是不够本质，无法体现这个世界的状态，没有物理属性。只有更高维、更本质的数据，才能直接去训练更高维的模型。
至于什么是高质量的数据，行业里包括具身在内还没有标准，大家都在摸索。以前大家都去采遥操数据、第一视角数据，但采回来的还是 2D 数据，给具身训练并不高效。采集之后，还需要做 3D 结构化、打标注，恢复运动物体的位姿和时序上的对应，过程也比较繁琐。
所以 好数据的标准是全量，不是单一局部的画面，而是完整的 3D 信息，甚至把时序对应、因果关系都 嵌 在里面。拿这样的数据训练，具身才能真正理解整个空间，具备很强的泛化能力。 而这正是影溯的3D世界模型的优势，能够从2D数据自动高效地生成出全量的3D场景数据。
张鹏：所以遥操采集数据也不是没有价值。如果给这些数据排个序，我们应该追求什么才是最高效的？
章国锋： 数据肯定不是单一来源，它应该是一个金字塔的层次，就像人类用能源，会有烧木柴的，有挖石油的，也有阳光，不同的层对应不同的获取方式和成本。
实际采集的数据，遥操、Egocentric、以及模拟仿真的数据，都有价值，但更像烧木柴、挖石油。你要一点点去采、去挖，很难够到互联网的量级。就像图像视频是几十亿人花几十年积累出来的，靠现在短时间去采，基本没有可能。
金字塔的最底层，要有最大量、达到互联网级别，得像阳光一样无处不在，关键是你能不能把它照进来、利用起来。
真正训练需要的是不同数据的配比，有些数据一定要保证足够多的量、足够多的多样性数据，模型才具备很强的泛化能力；比如我要生成非常高清晰度的内容，就需要一些很高分辨率的数据，帮助提升最后生成的精细度。所以不同的数据有不同的价值。
张鹏：看起来把互联网数据这种已经存在「阳光」，转化为「太阳能」运用到空间智能的发展上，是你最核心的思考？
章国锋 ： 今天最大的卡点在最底层，文字、图像、视频都有互联网级别的量，唯独 3D 没有原生的、互联网级别的数据 。我们从现有视频入手，互联网上的海量视频本身含 3D 信息，关键是能不能把它抽取出来，甚至变成全量的、高质量的 3D 数据。这也相当于把无处不在的阳光，变成能量。
现在也有一些拿到 3D 数据的办法，比如用深度相机去拍，得到的画面带有距离信息（也就是 RGBD 数据）。但这种数据是局部的、不完整的，它够「重建」用，不够「生成」用。
重建是把拍到的东西还原出来，拍到多少、还原多少，所以拿这种不完整数据、再加一些合成数据去训练就可以，效果也不错，比如 VGGT （Visual Geometry Grounded Transformer）就是用 Transformer 前馈式地做 3D 重建。重建这件事同样符合 Scaling Law，数据越多，能力越强。
但生成不一样，模型要能补全没拍到的部分，训练时就必须给它看完整的样本。一张图像，对应一个完整的 3D 场景。这样的数据目前非常缺，要达到互联网级别更是难上加难。所以最高效的解法，还是把互联网视频转成全量的 3D 数据，甚至是动态的。
张鹏：未来在这个路线上，数据的成本会是什么样的？
章国锋： 3D 数据比较缺，所以成本确实很关键。如果真的完全靠实采，成本就太高太慢了，特别是动态的场景，真的用相机阵列去拍摄，再重建成 4D 的成本非常高。我们认为问题应该回到怎么把互联网这座金矿用好，用非常低成本的方式去转。这可能需要一些清晰度非常高、分辨率非常高的数据；也需要实采，对提升模型最后的精细度是有帮助的。
回到我们前面说的金字塔，成本也可以这样来看，最大的量用最低的成本获取到，顶层的一些数据可以用成本相对高的方式采到或获得，综合起来成本才可接受。这和语言模型其实很像。预训练需要的是海量、多样的数据，这部分必须足够便宜，才能真正 Scaling；到了 Post-training，一些专家数据可以很贵、质量可以很高，因为它需要的量没有那么大。3D 数据未来也会是类似这样的结构。
所以真正合理的成本结构，是最大的量用最低的成本获取，少量高价值的数据可以用更高成本获得，最后组合起来，整个训练体系才是可持续的。
从互联网数据转制，一个很大的优势就是没有额外的采集成本。我们现在做的事情，是不断把转制效率做高。比如从普通视频出发，生成时空一致的不同视角，再进一步恢复成完整的 4D 场景。只要这个过程的效率足够高，单位数据的成本就可以持续往下降。
我们的目标不是把某一个 4D 场景做得多便宜，而是最终让大规模生产 3D、4D 数据这件事，在经济上真正成立。
张鹏：物理世界的 ChatGPT时刻要到来之前，会出现什么迹象，给我们一些导航点？
章国锋 ： 我们可以先想一下，ChatGPT 的那个时刻到底是什么。
它并不是说那一天 AI 突然就变成 AGI 了，而是普通人第一次非常直接地感受到， 原来机器真的可以听懂我说话，而且我可以很自然地跟它交流。 空间智能应该也会有类似的时刻。不是等到机器人什么都会做，而是有一天，大家第一次很直观地发现， 原来机器真的开始理解空间了。
这个信号可能先出现在数字世界。今天做一个 3D 世界，还是需要建模、材质、动画很多专业环节；未来可能你说一句话、给它几张图，它就能给你一个完整的、可以走进去、可以交互的三维世界。
再往物理世界走，可能就是我们开始看到真正「聪明起来」的机器。比如更聪明的扫地机器人，不只按规则运行判断，而是真开始理解这个房间，自然的规避掉Corner Case；或者自动驾驶开始能够处理很多以前没有见过的复杂情况。
它不会一上来就是一个万能机器人。ChatGPT 出来的时候也没有解决所有智能问题，但大家已经知道，范式变了。空间智能也一样，只要出现一个足够直观、足够好用的产品，让大家第一次感受到机器真的能够理解一个三维世界，我觉得那个时刻就已经开始了。
而且这一轮大模型已经给我们积累了很多 Scaling 的经验，算力、模型、训练方法都在快速往前走。空间智能现在最缺的，还是能够真正 Scale 起来的 3D、4D 数据。所以我相信，一旦数据问题被解决，这些事情到来的速度可能会比我们预想得更快。
02
创业的吸引力在于
「解决那个空间智能的第一性问题」
张鹏：从研究者到创业者，你为什么是这个时间点下场？背后有什么因素？
章国锋： 首先，技术的发展正好到了窗口期。我20年来一直在探索能获取通用空间智能的机会。过去传统的空间计算门槛太高，设备、采集、重建都很复杂，人才非常稀缺，很难大规模使用。 但今天不一样。AI 下一步要进入物理世界，具身智能、机器人都要真正理解空间， 3D 从来没有像现在这么重要过，而且是绕不开的。
同时，生成式 AI 又在快速降低 3D 的门槛。过去没拍到就是没拍到，现在可以补全、生成；过去很多事情需要非常专业的采集，现在也开始有机会变得更简单。
所以对我来说，身处这个时代其实特别兴奋，终于到了 3D 最有机会发挥巨大价值的时候。2024 年李飞飞做 World Labs，其实也是一个很强的信号：因为做了这么多年 3D，你会感觉到，终于有越来越多最顶尖的人开始看到同一个方向，空间智能真正到了一个新的时间点。
张鹏：可能具身的需求也到位了，这个门的打开可能也是因为有明确的需求在等这个突破，而不是突破完了不知道谁会用。
章国锋： 是的，这也是为什么这两年世界模型突然变得这么重要。机器人如果只在工厂里做一个固定动作，其实可以把环境、流程都标准化，很多问题都能靠工程解决。但如果机器人真的要进入家庭、办公室，环境每天都在变，你不可能把每一个杯子放在哪里、每一把椅子怎么摆都提前教给它。
所以真正通用的机器人，不能只是记住「看到这个画面就做这个动作」，它需要理解自己在哪里、周围有什么、做一个动作之后会发生什么。 世界模型真正要解决的，就是让机器人脑子里有一个对这个世界的理解，能够先判断、先推演，再去行动。
我觉得这才是具身智能真正走向泛化的关键。 从一个为特定环境训练出来的机器人，到一个换个房间、换个工厂也能自己理解和行动的机器人，中间缺的就是这种对空间和物理世界的通用理解能力。
张鹏：公司成立一年了。真正下场之后，你们的技术发展是高于预期还是符合预期？有什么变化？
章国锋： 模型的能力在非常快速地推进，虽然遇到不少困难和挑战，但总体是超出我们原来预期的，发展不完全是线性的。
我在 2025 年初的时候写过一篇文章，讲空间智能跟空间生成的关系，提到数据要从 2D 去转，可以从互联网视频转成 3D 的场景。当时我们觉得会偏静态一些， 当时我们觉得静态场景能做好已经挺难的了，但后来我们发现将单目视频转成全量 3D 动态场景在技术上是完全可行的 ，这个进展有点超出我最初的预期。
原来我们预期在静态场景下，用一张或几张图像生成一个很好的 3D 场景。这已经不容易了，但我们内部最近的研究进展比预想得快很多，现在已经看到，单目视频生成360 度动态全量3D 或者说 4D 场景是完全可行的。虽然现在还有一些细节要继续解决，但从技术路径上看，我们已经非常有信心。
一旦 4D 数据能够从海量互联网视频里低成本、规模化地产生，意义就不只是多了一种数据格式，而是我们第一次有机会把真实世界里大量的空间变化和物理经验，真正变成可以 Scaling 的训练数据。前面说互联网视频像无处不在的「阳光」，到这一步，我们才真正有机会把这些阳光转成能量。
张鹏：拿 OpenAI 在 GPT 上走过的 1.0、2.0、3.0 到 3.5 打比方，影溯现在处于什么阶段？单目视频变成 360 度动态 3D 场景的还原，属于哪个阶段？
章国锋： 按这个类比，我们现在更接近 2.0：关键技术路径已经得到了一些验证，但真正的数据 Scaling 还没有发生。
下一阶段最关键，就是把数据规模真正做起来，提升模型能力。我们内部已经看到一些比较明确的信号，把明确的 3D 结构加入模型之后，学习效率能够有一个数量级以上的提升。在数据量和算力都还比较有限的情况下，一些任务已经能取得比较好的结果。3D 表征确实能改变模型学习世界的效率。
在我们的规划里，最终可能需要几千万到 1 亿量级的场景数据，才有机会看到空间智能真正的 ChatGPT 时刻。 因为真实世界的复杂度不只来自数据量，更来自环境、物体、运动和交互组合出的巨大多样性。要出现真正的泛化和涌现，模型需要见过足够大、足够多样的世界。
所以我理解的 3.0，是数据和模型真正开始 Scaling；再往后，当 Scaling 带来明显的泛化甚至新的能力涌现，才更接近 3.5。
张鹏：物理规则需要被设定到模型吗？还是相信在足够的数据里，模型通过观测可以自己掌握？
章国锋 ： 我觉得两种都需要。
物理规律其实有两类。 一类是我们已经知道的，一类是我们自己都很难建模清楚的。
已经很确定的东西，比如一些基本的几何和物理约束，没有必要让模型花很大的代价再学一遍，可以直接告诉它。
但真实世界最复杂的部分，往往恰恰是人很难写成规则的。一个东西怎么运动、怎么形变，不同物体碰在一起会发生什么，这些最终还是要让模型从大量真实世界的数据里自己学出来。
所以我们的思路很简单： 知道的，就告诉它；不知道的，就让世界告诉它。
这也是为什么 4D 数据很重要。它记录的不只是世界长什么样，而是世界怎么变化。很多物理规律，其实就藏在这些变化里面。
张鹏：除了选择路线不同，你们在模型的架构上有什么思考？
章国锋 ： 架构创新最根本的一点，是你的表征选在哪一层，这直接决定了训练的账怎么算。你看视频数据，相邻两帧之间大量信息是重复的，因为同一个场景，视角或者物体动了一点，每一帧都要把整个画面重新表达一遍，冗余度非常大。
但换到 3D 表征上，场景本身只需要表达一次，变化的只是状态，Token 的数量就能少一到两个数量级。Token 少了，需要的数据量、参数量是同步下降的。所以我们现在是几十张卡在训练，不需要万卡集群训练。这其实不是我们省着用，是这条路线的账本身就是这么算的。
具体的架构，我们是两条线在探索，一条是把 Transformer 往三维去适配。它在序列数据上已经被验证得很充分，我们看它怎么更好地适应三维结构；另一条更激进一些，是跳出 Next Token Prediction 这个范式本身去想问题。
两条路线我们都还在探索，但有一件事已经比较明确：方法可以变，三维结构不能丢。我们的内部实验里，只是把 3D 结构引入模型，学习效率就能提升一个数量级以上，在不同的下游任务中也能看到明显的效果。对我们来说，这已经是一个很强的信号。三维世界的问题，本来就应该尽量在三维空间里解决。
03
造「大脑」、开源和商业循环
张鹏：你是怎么定位影溯？是 Frontier Lab、产业里的技术能力供给公司，还是未来的产品公司？想用什么样的定位参与产业？
章国锋： 影溯的目标是实现通用空间智能基础模型。
我们最关注的不是先把它用在哪个行业，而是这个模型本身有没有足够强的基础能力。比如它能不能真正理解一个三维空间，能不能知道这个世界接下来会怎么变化，进一步能不能理解行动会带来什么结果。
就像一个人空间能力足够强，他到了家里可以收拾东西，到了工厂可以操作设备，开车时候又可以判断路况。 场景变了，但底层用的是同一种对空间和物理世界的理解。
这些能力一旦做成基础模型，就不只属于某一个行业。对具身来说，它可以成为机器人的「大脑」，解决换一个环境、换一个物体之后还能不能工作的泛化问题；对自动驾驶，可以帮助理解和生成各种复杂、长尾的真实世界场景；对游戏、影视和互动内容，它又可以变成空间生成、编辑和交互的基础能力。
所以具身、自动驾驶、游戏、影视，看起来是完全不同的行业，但对我们来说，底层很多问题其实是一样的：都是在理解、生成和推演一个世界。
我们真正要做的，是先把这个最基础的 「 空间能力 」 做强。基础模型足够强，上面的应用自然会长出来。
影溯是一家站在 空间智能 模型的视角，而不是原来语言模型的视角的公司。 人的智能包括语言智能和空间智能。语言智能至少发展到一定的成熟度了；而 AI 要走出对话框、进入到真实的物理世界，就需要空间智能。这目前还在刚开始的阶段。 下一个 AI 的 10 年，空间智能是最核心要解决的东西 。我们想做的，是下一个 AI 十年的事情。
张鹏：怎么理解影溯最近持续放出的新成果？
章国锋 ： 过去一年我们发布的东西，主要分成两块：一个基础模型，InSpatio-World；一个引擎平台 ，Topos。Topos 又分 Pro 和 Lite 两个版本。InSpatio-World 解决「如何让空间走进动态视频」，Topos Pro 服务具身的训练仿真，Topos Lite 则是我们在前馈式 3D 生成模型上的探索，希望把 3D 生成做得更快、更轻、更好玩。
先说 InSpatio-World。输入一段视频，你就可以走进这个动态的场景里，自由视角地看。3 月份发布的时候，我们还做不到真正的 360 度，偏离拍摄视角过大可能会出现幻觉。但我们很快会有一个改进的新模型，活动自由度更大、效果更好，之后也会直接开放给用户，让大家上传自己的视频玩起来。