Motion4D: 4Dシーン理解のための3D一貫性のあるモーションとセマンティクスの学習 • 我々は、基礎モデルの2次元事前分布を動的な3次元ガウススプラッティング表現に統合するモデル、Motion4Dを提案する。これにより、単眼動画から一貫性のある動きとセマンティックモデリングを実現する。 • 私たちは、以下の2つの部分からなる反復的な最適化フレームワークを設計します。 - 順次最適化: ローカルの一貫性を維持するために、モーション フィールドとセマンティック フィールドを連続的に更新します。 - グローバル最適化: 長期的な一貫性を確保するためにすべての属性を共同で調整します。 • 3D信頼度マップと適応型リサンプリングを用いた反復的なモーションリファインメントを導入し、動的シーンの再構成を強化します。セマンティックリファインメントは、SAM2を用いた反復的な更新を通じて2Dセマンティックの不整合を修正します。 • 当社の Motion4D は、ビデオオブジェクトのセグメンテーション、ポイントベースのトラッキング、新しいビュー合成などのタスクにおいて、2D 基礎モデルと既存の 3D 手法の両方を大幅に上回ります。
論文（pdf）: httpopenreview.net/pdf/92325b315b…ェクト: https://t.co/SEmM7IIDB5
