A Coring divulgou o O1 ontem à noite: Uma ferramenta unificada de geração e edição de vídeo e imagem que oferece suporte a todos os recursos de edição de imagem e vídeo que você possa imaginar. Mestre Zang testará as novas habilidades adicionadas e dará a todos uma visão geral de como usar esse modo. 👇Abaixo estão os tutoriais detalhados e o conteúdo do teste.
Resumindo o conteúdo desta atualização: Um modelo de vídeo multimodal unificado integra tarefas como vídeo bruto de referência, vídeo bruto baseado em texto, primeiro e último quadro, adição e exclusão de conteúdo e redesenho de estilo, concluindo todo o processo, da geração à modificação, em uma única etapa. Ele suporta a entrada multimodal de imagens, vídeos, objetos e texto, permitindo uma edição precisa diretamente usando linguagem natural, sem a necessidade de máscaras ou quadros-chave. Ao utilizar múltiplas perspectivas e materiais de referência, as características dos personagens, objetos de cena e cenários são mantidas estáveis, e a consistência entre os planos é preservada para garantir uma experiência visual coerente. Combine livremente referências e instruções para abranger mecânicas de jogo complexas, como movimentação de câmera, ações e extensão da lente. Pode gerar planos narrativos livres de aproximadamente 3 a 10 segundos, permitindo um controle flexível sobre o ritmo e a duração do plano.
Se você estiver commp.weixin.qq.com/s/rrD6a7Yd_5Kf…la construção 🚧, também pode ler o artigo completo aqui: https://t.co/fJcrAiGGHx
Ao acessar a página da Keling, você notará um novo ícone bem visível à esquerda. Depois de usá-lo, você basicamente não precisará mais das outras interfaces.
Após acessar, você encontrará uma caixa de entrada na parte inferior com diversas opções. A seção inferior é usada para alternar entre operações básicas de geração de vídeo e imagem, como o ajuste de escala temporal, enquanto os botões em formato de cápsula na parte superior são usados principalmente para controlar o tipo de conteúdo de entrada. Aqui, você verá três campos de entrada: Imagem, Vídeo e Assunto. Claro, você pode excluir a imagem ou o assunto e usar apenas operações de texto. O item de entrada "primeiro quadro" se tornará então "primeiro quadro" e "último quadro", com os quais já estamos familiarizados. No entanto, as palavras de instrução também precisam ser rotuladas com o primeiro e o último quadro.
Vamos começar analisando a edição de vídeo mais básica usando texto. Basta carregar o vídeo que deseja editar e, ao inserir o comando na caixa de entrada de comandos, adicionar o material correspondente, mencionando-o no campo de referência do material. A qualidade das roupas é muito boa e elas se integram bem ao ambiente. A luz do sol que entra pela janela também realça as peças. O formato e os movimentos da boca podem ser transferidos, permitindo que o O1 seja usado como um modelo humano digital.
Após a conclusão das modificações no texto, o próximo passo é consultar as imagens. Se você não souber como descrever o ambiente ou personagem que deseja modificar, pode enviar uma imagem para que ele tenha como referência. É possível enviar uma única imagem ou várias imagens. Como podem ver, para combinar com o ambiente desta ruína, ele também diminuiu o brilho do meu rosto e corpo, e não houve problemas com os personagens ao fundo se movimentando.
Aqui vai uma dica sobre referências de imagens. Após modificar o vídeo usando uma imagem pela primeira vez, peça para ele modificar a imagem novamente. Isso garante o máximo controle sobre o processo de edição de vídeo. Por exemplo, aqui, primeiro pedi para ele adicionar a Judy de Zootopia, que está muito popular atualmente, à minha área de trabalho, e depois usei o vídeo que acabei de gerar para que ele adicionasse o texto "Keling O1" ao vídeo.
Você deve estar se perguntando qual é o assunto principal da seção de material acima: Este é um novo elemento adicionado ao O1 desta vez. Simplificando, pode ser entendido como o personagem que você cria. Você pode selecionar diretamente os personagens usados com frequência depois de criá-los, sem precisar carregá-los constantemente. Clicar no ícone "Adicionar tema" abrirá uma janela pop-up de seleção de temas à direita, onde vários temas comuns estarão disponíveis para escolha. Clique em "Meu Assunto" à esquerda para criar um assunto. Isso permite que você carregue várias imagens de diferentes ângulos, melhorando bastante a consistência de personagens, objetos e cenas no vídeo gerado.
Se você estiver criando conteúdo profissional, é recomendável criar mais personagens e cenas principais; consistência é melhor do que uma única imagem. Aqui, optei por me transformar na personagem principal, Lin Daiyu, e também adicionei o adereço de asas de anjo. No entanto, o vídeo está muito bem integrado, as asas se movem com o meu corpo, a iluminação também está ótima e parece muito realista. Isso é definitivamente uma grande vantagem para o comércio eletrônico. Chega de se preocupar com a aparência do produto quando o vídeo está em movimento. Agora você pode carregar quatro fotos para criar uma imagem principal e girá-la como quiser.
Claro, o O1 também pode alterar diretamente o estilo do vídeo. Testei o estilo feltro, o estilo anime e o estilo pixel de 8 bits e não houve problemas. Basta pedir para converter o vídeo XXX para o estilo desejado. Anteriormente, efeitos de transição de estilo que eram muito caros e complexos de criar agora podem ser obtidos com um simples comando.
O 1 ainda suporta a geração de vídeo a partir do primeiro e do último quadro. Clique em "Primeiro e Último Quadro" acima da caixa de entrada para acessar a interface de upload de material. Adicionar o primeiro e o último quadro à edição de vídeo pode criar efeitos especiais realmente incríveis. Por exemplo, aqui usamos inicialmente referências de imagem na edição de vídeo para substituir o mouse em nossas mãos por um dragão feito de código. Em seguida, o último quadro do vídeo e a imagem do dragão de código foram usados para gerar o primeiro e o último quadro do vídeo, completando assim a transformação de uma cena muito grande.
Agora que terminamos de falar sobre o vídeo, vamos dar uma olhada nas imagens do O1. Você pode usá-lo alternando para uma imagem no canto inferior esquerdo da caixa de entrada. Ele permite o upload de várias imagens, a adição de temas correspondentes e a edição das imagens. Vamos tirar uma foto com a Judy, que está bombando ultimamente. Na verdade, é um pouco mais complicado, pois envolve manter a consistência da cena e garantir que o estilo da pessoa e o da personagem animada não sejam exatamente iguais.
