Motion4D：學習與 3D 一致的運動和語義以實現 4D 場景理解 • 我們提出了 Motion4D 模型，該模型將基礎模型中的 2D 先驗資訊整合到動態 3D 高斯散射表示中。這實現了從單眼影片中一致地進行運動和語義建模。 • 我們設計了一個包含兩個部分的迭代最佳化框架： - 順序最佳化：以連續階段更新運動和語意場，以保持局部一致性。 - 全域最佳化：聯合最佳化所有屬性，以確保長期一致性。 • 我們引入了基於三維置信度圖和自適應重採樣的迭代運動細化方法，以增強動態場景重建。語意細化則透過SAM2的迭代更新來校正二維語意不一致。 • 我們的 Motion4D 在視訊物件分割、基於點的追蹤和新穎視圖合成等任務中，效能顯著優於 2D 基礎模型和現有的 3D 方法。
論文（pdf）：httpsopenreview.net/pdf/92325b315b…：https://t.co/SEmM7IIDB5
