Motion4D: Aprendendo Movimento e Semântica Consistentes em 3D para a Compreensão de Cenas 4D Contribuições: • Propomos o Motion4D, um modelo que integra informações prévias 2D de modelos de base em uma representação dinâmica 3D de Gaussian Splatting. Isso permite a modelagem consistente de movimento e semântica a partir de vídeos monoculares. • Projetamos uma estrutura de otimização iterativa em duas partes, composta por: - Otimização sequencial, que atualiza os campos de movimento e semânticos em estágios consecutivos para manter a consistência local. - Otimização global, que refina conjuntamente todos os atributos para garantir a coerência a longo prazo. • Introduzimos o refinamento iterativo de movimento usando mapas de confiança 3D e reamostragem adaptativa para aprimorar a reconstrução dinâmica de cenas, juntamente com o refinamento semântico para corrigir inconsistências semânticas 2D por meio de atualizações iterativas com SAM2. • Nosso Motion4D supera significativamente tanto os modelos básicos 2D quanto os métodos 3D existentes em tarefas como segmentação de objetos em vídeo, rastreamento baseado em pontos e síntese de novas visualizações.
Artigo:arxiv.org/abs/2512.03601k Projetohrzhou2.github.io/motion4d-web/B5
