Voici un lien vers la suite logicielle vidéo open source que Zhipu vient de publier aujourd'hui : SCAIL, RealVideo, Kaleido et SSVAE. Elle prend en charge la gestion des poses, le streaming en temps réel et les modes multi-agents. RealVideo, entre autres, génère du streaming vidéo en temps réel avec un décalage audio initial de 2 à 3 secondes, un clonage vocal de 3 secondes et permet l'importation d'avatars. Il peut diffuser plusieurs minutes de dialogue ou de discours en continu, permettant ainsi aux présentateurs virtuels de commencer leur prise de parole en 2 secondes. SCAIL peut générer des plans interactifs complexes à plusieurs personnes, tels que des sauts périlleux et de la danse de rue, en fournissant simplement la photo d'un acteur et en ajoutant une animation squelettique 3D, garantissant ainsi que les mouvements des acteurs restent cohérents et que les obstacles ne soient pas perturbés. Il existe également le framework de génération vidéo multi-agents Kaleido, et l'auto-encodeur variationnel à structure spectrale VAE SSVAE. #Vidéo IA #Diffusion en direct IA #GLM
Aperçu de SCAIL Cgithub.com/zai-org/SCAILCgithub.com/zai-org/SCAIL-…7b6giehuggingface.co/zai-org/SCAIL-…cmodelscope.cn/models/ZhipuAI….co/CINx8aMXSn github.com/zai-org/RealVi…ps://huggingface.co/zai-org/RealVi…:modelscope.cn/models/ZhipuAI…q0 https://tgithub.com/zai-org/Kaleidoo Code : https://t.co/NqSB9JlguW Modèle: https://t.co/0rpcHg1YzD https://t.co/lAFNHJ8yDk SSVAE Code : https://t.co/J9e2EsbNRz Modèle: