Tencent vient de publier en open source HY-World 1.5, un modèle de monde génératif interactif en temps réel, offrant une sortie vidéo en streaming longue durée de 720p à 24 images par seconde, une cohérence 3D et un contrôle arbitraire du texte et des mouvements. Donnez-lui une phrase ou un signal de commande, et il peut générer instantanément une vidéo 3D d'une longueur infinie, géométriquement cohérente, explorable, interactive et stylistiquement arbitraire. Dans HY-World 1.5, ils ont développé un modèle de diffusion vidéo en continu appelé WorldPlay pour réaliser une modélisation interactive du monde en temps réel tout en maintenant une cohérence géométrique à long terme, résolvant ainsi le compromis entre vitesse et mémoire des méthodes actuelles. Il prend en charge les perspectives à la première personne et à la troisième personne, ce qui est très utile pour les jeux et la réalité virtuelle. #Monde 3D généré par IA #HYWorld
Github :github.com/Tencent-Hunyua…H Visage câlin huggingface.co/tencent/HY-Wor…wb