想象一下，你给AI一张篮球的图片，再输入一句“篮球落到地面后反弹”。现在的视频生成模型很快就能让画面动起来。

但问题来了——你要是仔细看，破绽多得让人哭笑不得。篮球可能在半空中突然变形，落地后完全没有压缩。反弹高度和下落的初速度完全对不上，甚至出现“漂浮术”或者“穿地术”。

单看画面，确实像一段视频。但它跟真实世界的运动规律基本不沾边。根源也很简单：一张静态图片只能告诉我们物体“长什么样”，却没法直接告诉我们它有多重、多硬、是不是容易变形。

图1 用于物理属性识别的主动运动探测

密度、杨氏模量、泊松比、屈服应力这些物理属性，通常只有通过运动或交互才能被观察到。拿图1来说，同样是那辆黄色玩具小车，让它自由落体，和让它“爆炸”一下，暴露出的物理线索完全不同。自由落体更多揭示质量和速度；爆炸则更能反映材料和密度。

一个外观看起来差不多的物体，可能由橡胶、塑料、金属甚至沙粒组成。它们在自由下落、碰撞和挤压时的响应天差地别。

针对这个痛点，我们提出了PhyMAGIC——一个无需额外训练的物理动态生成框架。它的逻辑很简单：不再要求视觉语言模型（VLM）仅凭一张图片“猜”出全部物理参数。而是先生成一组有针对性的运动视频，把这些视频当作物理证据，再逐步修正对物体属性的判断。

2. 方法介绍

核心思想

PhyMAGIC的核心想法很直观：如果静态图片的信息不够，那就让物体先动起来。

图2 PhyMAGIC的整体流程图

如图2所示，仅从一张“Wolf-like”的图片出发，很难准确判断它的质量和材料。但我们可以生成一段自由下落、侧向推动或碰撞的视频。不同的运动，暴露的物理线索完全不同：

• 自由下落和碰撞，有助于判断质量、刚度和弹性；
• 挤压，可以观察材料的形变和恢复能力；
• 旋转和侧推，帮助分析惯性、接触方式和受力方向；
• 坍塌过程，能区分刚体、弹性体和颗粒材料。

运动探针与置信度

PhyMAGIC中的图生视频模型，并不是一个最终的物理模拟器。它更像一台“虚拟实验装置”。它的作用是把静态图像中隐含的运动先验，转化为可观察的时间线索。系统采用预训练的图生视频模型生成这些Motion Probes——也就是运动探针视频。

接着，系统从视频中选出运动变化较明显的代表帧，交给视觉语言模型进行物理分析。某些运动可能适合判断质量，却不一定能充分揭示材料是否容易发生塑性变形。因此，PhyMAGIC为每个物理参数同时预测一个置信度。

视觉语言模型首先根据输入图片、文本指令和运动探针，估计物体的材料类型、质量、密度、杨氏模量、泊松比、屈服应力等属性。每个属性都会经过多次独立推断，并根据结果之间的一致性计算置信度。

闭环迭代机制

对于不确定的物理属性，VLM会继续“追问”。当某个参数的置信度低于阈值（gamma=0.6）时，系统不会直接接受当前结果，而是自动改写视频生成指令。举个例子，如果某个玩具模型的杨氏模量和泊松比仍然不确定，系统会把原来较宽泛的运动描述，改写成更能展现挤压、弯曲或回弹过程的指令。

新的指令会再次驱动图生视频模型，生成更有针对性的运动证据。随后，VLM重新分析视频并更新物理参数。这就形成了一个闭环：

发现低置信度参数 → 生成针对性运动 → 获取新的视频证据 → 重新推断物理属性。

3. 实验过程

多轮迭代与参数修正

实验中，Motion Probes最多进行三轮。随着证据不断累积，早期错误的材料分类和参数估计会逐渐被修正。PhyMAGIC不要求模型一次给出确定答案，而是允许它先表达“不确定”，再主动寻找能够减少不确定性的证据。

混合物理参数（HPP）

推断出材料参数之后，还有一个问题：怎样让这些参数真正进入物理模拟器？

VLM通常输出类似“该物体是刚体，密度约为1200 kg/m”这样的语义描述。但一个物理模拟器还需要知道初始速度、重力方向、边界条件、碰撞表面和外力配置。只有材料参数，没有运动条件，物体不会自动产生目标动作；只有“向左推”这样的指令，没有材料属性，不同材质也无法表现出合理差异。

为此，我们提出了Hybrid Physical Parameters（HPP）。它将两类信息组合成完整的物理配置：

• 一类是物体本身的材料属性，包括密度、杨氏模量、泊松比和屈服应力；
• 另一类是模拟器所需的执行参数，包括初始速度、外力、边界条件、接触模式和运动模板。

系统会根据文本指令和前面收集到的视频证据，在自由下落、挤压、旋转、反弹和侧推等运动模板中选择合适的配置。

3D重建与模拟

接下来，PhyMAGIC使用TRELLIS将输入图片重建成3D Gaussian Splatting表示。每个高斯点不仅保存位置、颜色和透明度，也被赋予相应的物理属性，并作为材料粒子进入可微分的Material Point Method模拟器。最终得到的不只是一段二维视频，而是一个可以从不同视角渲染的动态3D对象。

4. 结果分析

定量对比

我们在PhysGaussian、PhysGen以及互联网收集的单图场景上进行了测试，覆盖刚体、弹性体和颗粒材料，运动类型包括自由下落、滚动、摆动、压缩和坍塌等。

从表1的数据来看，在八组场景中，PhyMAGIC的平均CLIP相似度达到0.251，高于OpenSora 2.0的0.233和CogVideoX的0.239。这说明生成运动与文本描述之间具有更好的对应关系。

与PhysDreamer、Physics3D和OMNIPHYSGS等物理动态生成方法相比（表2），PhyMAGIC在六个代表场景上的平均CLIP相似度达到0.252。Image-Motion-FID降低到94.69，在对比方法中取得最佳结果。

用户研究

我们还邀请了61名参与者，从物理合理性和文本一致性两个方面对生成结果打分。PhyMAGIC分别获得3.00和3.07的平均分，同样优于参与比较的视频生成模型。

迭代实验与可视化

迭代实验的结果也很有说服力：最初的推断可能将汽车错误判断为弹性材料，或严重低估篮球的密度和刚度。经过运动探针和置信度引导的修正后，三个代表场景中的参数准确率在第三轮均达到约90%或更高。

图5中的时空切片与光流结果进一步表明，PhyMAGIC能够保持目标区域运动的连续性，同时减少背景和静止部件的意外形变。

5. 总结

PhyMAGIC并不把生成视频当作真实世界的标准答案。生成视频仍然可能包含偏差，但它可以提供静态图片中不存在的时间信息。

这项工作重新定义了视频生成模型在物理推断中的角色：它不仅可以负责产生最终内容，也可以作为一种主动探测工具，为后续推理提供新的观察角度。

整个框架不需要针对特定材料重新训练，可以替换其中的图生视频模型、视觉语言模型、3D重建模块和物理模拟器。这种模块化设计也使它能够随着基础模型的发展继续升级。

当然，PhyMAGIC目前还有局限。它仍然受到单图3D重建质量的影响——较薄的结构和复杂拓扑可能导致物理粒子分布不准确。VLM对物理参数的估计也主要是定性和近似的，尚不足以处理高频振动和精确摩擦系数等问题。此外，当前系统主要关注前景物体，还没有完整覆盖复杂关节结构和密集多物体交互。

未来，我们希望能进一步利用探针视频与模拟结果之间的视觉误差，直接优化物理参数，让“主动观察—物理推断—动态仿真”形成更紧密的闭环。

作者介绍

作者团队来自美国内华达大学里诺分校计算机科学与工程系和浙江大学软件学院，研究方向包括物理约束生成式人工智能、动态3D/4D生成、视频生成与可微物理仿真。