视频生成也能代码驱动了，Code Video Model来了
视频生成模型的视觉质量不断提升，但当前主流视频扩散模型仍面临两项根本局限。第一是 物理规律约束不足 ：模型从像素中学习世界的视觉表象，却缺少物理方程的显式约束，画面看似合理，实际却不符合物理规律。例如， 抛出的球可能悬浮、摆动可能偏离应有周期、碰撞可能看似合理却不符合物理规律 。第二是 精确控制的不足 ：文本提示或 ControlNet 等控制模块可以引导生成，但仍难以像拍电影一样， 直接调整每个演员的站位与姿态、物件的大小与颜色、场景的布局，以及运动轨迹和相机时序 。这些要求的具体实现仍主要由模型隐式决定，只能在生成后检查，镜头迭代因此往往依赖反复修改提示词、调整控制条件和重新采样。如何显式表达物理与时空约束，并在生成前检查和修改，是实现可控视频生成的重要问题。
微软团队提出 Code Video Model，以可执行代码作为视频的控制表示 ，使镜头设计能够在生成前被检查、修改和验证。研究通过系统实验分析视觉条件的作用机制，据此提出免训练的阶段化条件调度，将程序的结构约束与预训练模型的视觉生成能力结合起来。Code Video Model 视频 demo 如下：
01 可执行场景表示：统一描述、预演与编辑
Code Video Model 借鉴影视预演 ，由 Coding Agent 将 Prompt 转化为 Three.js 程序，把几何布局、物体运动、相机轨迹和事件时序统一为可执行场景表示。代码不仅描述场景，也定义场景如何随时间演化，使不同控制要求能够在同一表示中协同编辑。程序渲染出的 预演视频（proxy video） 提供时空参考，参考图指定目标外观，视频模型据此补充几何细节、材质与光照。
Three.js | Code Video Model
Tank Assault・Titan Attack・Double Pendulum
Figure 1｜程序预演与生成结果的对应关系。
围绕这份程序，Coding Agent 通过 “ 编程 — 渲染 — 检查 — 修订 ” 迭代场景。修改直接作用于对象、参数和事件逻辑，并在更新后的预演中呈现，便于判断目标变化是否实现、其余场景设定是否保留。程序确定后，预演渲染不到一分钟，使镜头设计的验证先于最终视频生成。
Figure 2 中，修改路径点即可重新规划四足机器人的路线，同时保留其余场景设定。更新后的预演再引导视频生成相应的轨迹变化。
Program (edited lines)
Proxy Video | Code Video Model
Figure 2｜程序化轨迹编辑：程序代码、预演与 Code Video Model 生成结果。
同一表示还支持物体增删、尺度调整、场景替换和动作时序编辑。独立控制物体运动与相机的时间进程，可以实现动作冻结、相机继续环绕的 “子弹时间” 镜头。对于具有数学描述的物理过程， 程序可通过方程计算运动。 双摆、弹簧回弹和牛顿摆等案例，以计算得到的动态预演为视频生成提供物理引导。
Proxy Video | w/o Proxy | w Proxy
Newton's Cradle・Spring Recoil
Figure 3｜牛顿摆与弹簧回弹：程序预演及有无预演引导的生成结果。
02 从条件机制研究到免训练生成范式
参考驱动的视频模型（R2V）可以将程序预演（proxy video）转化为具有真实感的视频，但面临一个关键难点： 程序预演的低多边形风格约束过强，容易使生成视频也呈现低多边形外观，从而失去真实感 。为厘清结构约束与外观生成之间的关系，研究在保持 MiniMax-H3 参数冻结的条件下，系统考察条件组成、介入阶段、持续时长及原生通路，并结合内部特征分析，追踪结构与外观信息如何影响生成。
Proxy Video | Direct R2V
Figure 4｜Proxy Video 与 Direct R2V 的生成结果对照。
时间条件分析（Temporal Conditioning）表明，预演的控制效果不仅取决于是否提供条件，还取决于其参与生成的阶段。早期介入不足会削弱结构跟随，等时长的后期引导也难以弥补，而持续施加预演又会增加合成外观的保留。加噪对照则显示，抑制预演外观可能同时损伤几何与运动信息，说明单纯削弱输入难以解决结构保持与外观生成之间的矛盾。
通路对照实验表明， Qwen-VL 编码器与 VAE 通路对条件信息的利用各有侧重 ：前者对外观的影响更为显著，后者对运动与结构约束的贡献更突出。Figure 5 的生成对照与配套定量消融共同显示， 双通路的综合表现优于单通路 ，支持在条件调度中保留二者的互补信息。