Motion4D: 4Dシーン理解のための3D一貫性のあるモーションとセマンティクスの学習 貢献: • 我々は、基礎モデルの2次元事前分布を動的な3次元ガウススプラッティング表現に統合するモデル、Motion4Dを提案する。これにより、単眼動画から一貫性のある動きとセマンティックモデリングを実現する。 • 私たちは、以下の2つの部分からなる反復的な最適化フレームワークを設計します。 - ローカルの一貫性を維持するために、モーション フィールドとセマンティック フィールドを連続的に更新する順次最適化。 - 長期的な一貫性を確保するためにすべての属性を共同で調整するグローバル最適化。 • 3D 信頼マップと適応型リサンプリングを使用した反復的なモーション改良を導入して動的シーンの再構築を強化し、同時に SAM2 による反復的な更新を通じて 2D の意味的不一致を修正する意味的改良を導入します。 • 当社の Motion4D は、ビデオオブジェクトのセグメンテーション、ポイントベースのトラッキング、新しいビュー合成などのタスクにおいて、2D 基礎モデルと既存の 3D 手法の両方を大幅に上回ります。
論文: httarxiv.org/abs/2512.03601ジェクト: https://t.co/SEmM7IIDB5
