游戏引擎已死?谷歌Genie 4刚刚发布,实时操控整个世界
时隔一年多,谷歌 DeepMind 的 Genie 世界模型系列终于迎来了第 4 代。
刚刚, 谷歌 DeepMind 正式官宣最新一代世界模型 Genie 4,称其为「迄今为止最逼真、交互性最强的世界模型」。
与此前只能观看的 AI 视频不同,Genie 4 能够实时生成动态环境,用户不仅可以通过键盘控制角色或镜头在其中移动,还能随时输入自然语言,改变天气、添加物体、引入新角色,观察整个场景如何随之变化。
更重要的是, 这个世界现在有了声音。
从风吹过树林、海浪拍打沙滩,到人物之间的交谈,Genie 4 能够在生成画面的同时,实时生成对应音频,虚拟人物不仅能够移动,还能对周围环境和用户输入作出反应。
与此同时, 谷歌首次将 Gemini 系列模型更深入地引入世界模拟过程:大语言模型负责理解任务、规划事件和维护场景逻辑,Genie 4 负责实时呈现动态世界。
这意味着,谷歌正在尝试解决一个比生成逼真视频更加复杂的问题: 如何让 AI 生成一个能够持续运转、响应外部干预,并尽可能遵循因果逻辑的世界。
不止画面逼真,整个世界都能实时改变
根据官方介绍,Genie 4 主要实现了四个方面的能力提升: 更逼真的视觉和物理模拟、更自然的人物动作、原生实时音频,以及由 Gemini 支持的复杂事件推理。
先看最直观的变化,这次用户不只是进入一个生成好的世界,还能在探索过程中实时改变它。
在官方演示中,一名男子站在湖面中央的悬浮平台上演奏萨克斯。周围的森林被薄雾笼罩,湖面反射着微弱的光线。
用户可以通过键盘独立移动镜头,从不同角度观察场景。人物继续演奏,周围的环境也在持续变化。
如果想改变这个世界,还可以直接输入自然语言指令,比如调整天气、移动镜头,或者加入新的人物和物体。Gemini 会结合当前场景理解这些要求,并引导模拟继续运行。
也就是说, 用户不需要重新生成整个场景,就能在一个持续运行的虚拟世界中不断修改内容。
视觉效果之外,Genie 4 还进一步提升了对物理现象的模拟能力。
比如,一颗枫树种子从空中落下,受到空气阻力影响,在空中旋转、飘落。
Google 表示,Genie 4 改进了对空气动力学、碰撞等物理现象的模拟,尤其提升了人物运动的自然程度,让角色能够根据周围环境作出相应反应。
而且,这次的世界不只有画面,还有声音。
Genie 4 是 Google 首个能够原生生成实时音频的世界模型,支持环境音、音乐,以及可以根据场景变化实时调整的人物对话。
在一段第一人称视角的演示中,用户骑着一条巨大的黑龙,以每小时 140 公里的速度穿越群山。伴随着高速飞行,耳边传来翅膀拍打、高空风声和远处的轰鸣声。
这些声音并不是后期添加的音效,而是由 Genie 4 随着视觉场景一起生成。
更进一步,场景中的人物还可以根据用户输入或正在发生的事件作出回应,展开实时对话。
Gemini 负责思考,Genie 负责生成:
世界模型走向混合架构
不过,如果说画面、物理和音频的改进,让 Genie 4 生成的世界越来越接近现实,那么 Gemini 的加入,则让这个世界开始拥有更复杂的事件发展逻辑。
按照 Google 的介绍, Genie 4 融合了 Gemini 系列模型的能力。 其中,Gemini Omni 为模拟提供真实世界的视觉与行为知识,而 Gemini 3.8 Flash 则在实时生成过程中承担引导作用。
具体来说,当 Genie 4 持续生成虚拟世界时,Gemini 3.8 Flash 会不断观察画面,将目标拆解为多个步骤,检查每一步是否已经完成,并在环境发生变化时调整后续计划。
这使得 模型不只是持续生成下一帧画面,还可以围绕一个具体目标,组织具有连续性的复杂事件。
Google 还展示了一项机器人模拟实验。
在这段演示中,Gemini 4 Argon 与 Genie 4 合作,模拟了 Apptronik Apollo 人形机器人下国际跳棋的过程。
Gemini 4 Argon 负责将用户要求拆解为一系列步骤,再通过实时文本指令引导 Genie 4 生成相应场景,让整个模拟过程随着任务进展不断变化。
Google 将这一技术方向称为 混合世界模型(Hybrid World Models)。
简单来说,就是让 Gemini 负责逻辑推理、任务规划和事件组织,Genie 负责生成世界的视觉、声音和动态反馈。两者结合,有望让虚拟环境具备更好的连贯性和可控性。
当然,这项技术的价值不只在于创造一个有趣的虚拟世界。
Google 表示,早期测试者已经开始探索 Genie 4 在影视预演、历史场景重建、游戏原型制作以及工业模拟等领域的应用。
例如,电影制作人员可以直接进入生成的场景,实时调整镜头、灯光、台词和人物动作;游戏开发者则有机会通过自然语言,在编写游戏引擎代码之前,快速体验一个可以探索的原型。
更长远的目标,是利用这些可控的虚拟环境,为机器人和 Agent 提供训练及测试场景,让它们在进入真实世界之前,先尝试执行复杂任务。
目前,Genie 4 已向部分受信任的测试者开放研究预览,未来将通过 Project Genie 向 Google AI Ultra 用户提供,并向 Gemini API、Google AI Studio 的早期合作伙伴开放。
距离真正的「无限世界」,还有多远?
尽管 Genie 4 的演示已经非常惊艳,但它距离一个能够无限运行、完全符合现实物理规律的虚拟世界仍有明显距离。
Google DeepMind 在官方博客中也明确承认, Genie 4 仍是一项早期研究成果。
首先是 长期一致性问题, 虽然 Genie 4 能够在短时间的交互过程中维持环境的连贯性,但随着时间推移,视觉细节和物体的持续存在性仍可能发生变化或偏移。尤其是在模拟运行时间较长、经过多次复杂的提示词修改,或用户在场景中持续探索移动时,这类问题会更加明显。
其次,在复杂物理交互的模拟、实时音频的准确性、清晰可辨的文本渲染、空间精度等方面,仍是接下来需要持续研究和改进的重点方向。
值得一提的是,官方表示, Genie 4 生成的视频和音频都将包含 Google 的 SynthID 数字水印,以帮助识别 AI 生成内容。
但仍不可否认的是,Genie 4 带来了新的可能。
「全息甲板」要来了?
Genie 4 一经发布,便在 X、Reddit 等社交平台上引发了大量讨论。
有人已经开始畅想,游戏和虚拟现实会因此发生怎样的变化。
Reddit 上,一位网友设想:「如果把这项技术用在增强现实(AR)中,我们基本上就有了一个全息甲板的原型。」