Motion4D: Aprendendo Movimento e Semântica Consistentes em 3D para a Compreensão de Cenas 4D • Propomos o Motion4D, um modelo que integra informações prévias 2D de modelos de base em uma representação dinâmica 3D de Gaussian Splatting. Isso permite a modelagem consistente de movimento e semântica a partir de vídeos monoculares. • Projetamos uma estrutura de otimização iterativa em duas partes, composta por: - Otimização sequencial: atualiza os campos de movimento e semânticos em etapas consecutivas para manter a consistência local. - Otimização global: refina conjuntamente todos os atributos para garantir a coerência a longo prazo. • Introduzimos o refinamento iterativo de movimento usando mapas de confiança 3D e reamostragem adaptativa para aprimorar a reconstrução de cenas dinâmicas. O refinamento semântico corrige inconsistências semânticas 2D por meio de atualizações iterativas com SAM2. • Nosso Motion4D supera significativamente tanto os modelos básicos 2D quanto os métodos 3D existentes em tarefas como segmentação de objetos em vídeo, rastreamento baseado em pontos e síntese de novas visualizações.
Artigo (pdf):openreview.net/pdf/92325b315b…O Projetohrzhou2.github.io/motion4d-web/B5
