A OpenAI pode estar diminuindo seus esforços no mercado de geração de vídeo com o encerramento de seu aplicativo Sora, mas a ByteDance confirmou na quinta-feira que seu novo modelo de áudio e vídeo, Dreamina Seedance 2.0agora está sendo lançado em sua plataforma de edição, Corte de tampa.
ByteDance afirma que o modelo permite que os criadores esbocem, editem e sincronizem conteúdo de vídeo e áudio usando prompts, imagens ou vídeos de referência.
A implementação em fases começará com usuários do CapCut no Brasil, Indonésia, Malásia, México, Filipinas, Tailândia e Vietnã, com mais mercados adicionados ao longo do tempo.
A notícia do lançamento no CapCut segue um relatório recente que dizia que o lançamento world do modelo seria pausado, enquanto trabalhava para resolver questões de propriedade intelectual que atraíram críticas de Hollywood ao longo do tempo. suposta violação de direitos autorais. Isso provavelmente explica o número limitado de mercados onde o modelo está atualmente disponível no CapCut.
Na China, o modelo está disponível para usuários do aplicativo Jianying da ByteDance.
O modelo de geração de vídeo funciona sem imagens de referência, mesmo que o criador use apenas algumas palavras para descrever a cena que tem em mente, afirma ByteDance em seu anúncio. CapCut também é bom para renderizar texturas, movimentos e iluminação realistas em uma variedade de perspectivas e ângulos visuais, que a empresa observa que podem ser usados para editar, aprimorar ou corrigir as próprias filmagens dos criadores.
Outro caso de uso seria permitir que os criadores testassem ideias potenciais com base em conceitos ou esboços iniciais antes de filmar o vídeo actual.
Além disso, o Dreamina Seedance 2.0 pode ser usado para uma ampla variedade de conteúdo, incluindo receitas de culinária, tutoriais de condicionamento físico, visões gerais de negócios ou produtos e vídeos com conteúdo focado em movimento ou ação, onde os modelos de vídeo de IA têm historicamente enfrentado desafios, explica a empresa.
No lançamento, o modelo suporta clipes de até 15 segundos em seis proporções.
No CapCut, o modelo será implementado em diferentes áreas, incluindo recursos de edição como AI Video e ferramentas de geração como Video Studio. Também chegará à plataforma de geração de IA da ByteDance, Dreamina, e à sua plataforma de advertising and marketing, Pippit.
Dada a sua capacidade de criar conteúdo realista, a ByteDance afirma que adicionou restrições de segurança, para que o modelo não tenha a capacidade de fazer vídeos a partir de imagens ou vídeos que contenham rostos reais. CapCut também bloqueará o uso de geração não autorizada de propriedade intelectual. (No entanto, se as restrições funcionassem corretamente, o modelo já estaria disponível nos Estados Unidos. Provavelmente, mais ajustes ainda estão sendo feitos.)
O conteúdo produzido pelo Dreamina Seedance 2.0 também incluirá uma marca d’água invisível, que ajudará a identificar o conteúdo feito com o modelo quando for compartilhado fora da plataforma, acrescentou ByteDance. Isso poderia ajudar em coisas como solicitações de remoção de detentores de direitos, caso o modelo permitisse a passagem de conteúdo protegido por direitos autorais.
A ByteDance afirma que fará parceria com especialistas e comunidades criativas à medida que o modelo for implementado para iterar e melhorar as capacidades do modelo.
