A corrida de vídeo generativo está esquentando na China

A corrida de vídeo generativo esquentando na China é perfilada pela BTW Media porque evidências publicadas a vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

• A Tencent lançou uma nova versão de seu modelo de geração de vídeo de código aberto, DynamiCrafter, no GitHub.
• Esta atualização foca principalmente em animar cenas naturais com dinâmicas estocásticas (como nuvens e fluidos) ou movimentos de domínio específico.
• Após gerar texto e imagens, a geração de vídeo deve ser o próximo foco da corrida de inteligência artificial.

Algumas das maiores empresas de tecnologia da China estão discretamente intensificando esforços para ganhar uma posição no espaço de texto e imagem para vídeo. Em 5 de fevereiro, a gigante chinesa da internet Tencent, mais conhecida por seu império de videogames e aplicativo de mensagens wechat,lançou uma nova versãode seu modelo de geração de vídeo de código aberto DynamiCrafter no GitHub.

Como funciona

Assim como outras ferramentas de geração de vídeo no mercado, o DynamiCrafter usa um método de difusão para converter legendas e imagens estáticas em vídeos de alguns segundos. Inspirado por fenômenos naturais de difusão na física, os modelos de difusão no aprendizado de máquina podem transformar dados simples em dados mais complexos e realistas, semelhante à forma como as partículas se movem de uma região de alta concentração para outra de baixa concentração.

Leia também: A busca do Google com IA agora gera imagens

A segunda geração do DynamiCrafter está produzindo vídeo com resolução de 640 x 1024 pixels, uma atualização em relação ao vídeo de 320 x 512 que foi lançado pela primeira vez em outubro. Um artigo acadêmico publicado pela equipe por trás do DynamiCrafter observa que sua técnica difere da concorrência porque expande a aplicabilidade das técnicas de animação de imagens para “conteúdo visual mais geral”.
“A ideia-chave é explorar os priors de movimento dos modelos de difusão de texto para vídeo incorporando imagens no processo de geração como guia”, diz o artigo. Em contraste, as técnicas “tradicionais” “se concentram principalmente em animarcenas naturais com dinâmicas aleatórias(por exemplo, nuvens e fluidos) ou movimentos de domínio específico (por exemplo, cabelo humano ou movimento corporal).”
Em uma demonstração comparando o DynamiCrafter, o Stable Video Diffusion (lançado em novembro) e o recentemente badalado Pika Labs, os resultados do modelo da Tencent pareceram mais robustos que os outros. Inevitavelmente, a amostra escolhida tenderá a favorecer o DynamiCrafter.”

Uma nova guerra sem armas entre empresas

É inegável que, após gerar texto e imagens, a geração de vídeo deve ser o próximo foco da corrida de inteligência artificial. Como resultado, espera-se que startups e empresas de tecnologia invistam recursos significativos neste espaço. A China não é exceção. Além da Tencent e da ByteDance, controladora do TikTok, a Baidu e a Alibaba também lançaram seus próprios modelos de difusão de vídeo.

Tanto o MagicVideo da ByteDance quanto o UniVG da Baidu publicaram demonstrações no GitHub, mas nenhum parece estar disponível ao público. Como a Tencent, a Alibaba abriu o código de seu modelo de geração de vídeo, VGen, uma estratégia que se tornou cada vez mais popular entre as empresas de tecnologia chinesas que buscam alcançar a comunidade global de desenvolvedores.