Motion4D：学习与 3D 一致的运动和语义以实现 4D 场景理解 • 我们提出了 Motion4D 模型，该模型将基础模型中的 2D 先验信息整合到动态 3D 高斯散射表示中。这实现了从单目视频中一致地进行运动和语义建模。 • 我们设计了一个包含以下两部分的迭代优化框架： - 顺序优化：按连续阶段更新运动和语义场，以保持局部一致性。 - 全局优化：联合优化所有属性，以确保长期一致性。 • 我们引入了基于三维置信度图和自适应重采样的迭代运动细化方法，以增强动态场景重建。语义细化则通过SAM2的迭代更新来校正二维语义不一致。 • 我们的 Motion4D 在视频对象分割、基于点的跟踪和新颖视图合成等任务中，性能显著优于 2D 基础模型和现有的 3D 方法。
论文（pdf）：httpsopenreview.net/pdf/92325b315b…：https://t.co/SEmM7IIDB5
