The generative video race is heating up in China

• Tencent a publié une nouvelle version de son modèle de génération vidéo open-source, DynamiCrafter, sur GitHub.
• Cette mise à jour se concentre principalement sur l'animation de scènes naturelles avec dynamiques stochastiques (telles que les nuages et les fluides) ou des mouvements spécifiques à un domaine.”
• Après la génération de texte et d'images, la génération vidéo devrait être le prochain objectif de la course à l'intelligence artificielle.

Certaines des plus grandes entreprises technologiques chinoises intensifient discrètement leurs efforts pour prendre pied dans le domaine du texte-et-image vers la vidéo. Le 5 février, le géant chinois de l'Internet Tencent, surtout connu pour son empire de jeux vidéo et son application de messagerie WeChat, a publié une nouvelle version de son modèle de génération vidéo open-source DynamiCrafter sur GitHub.

Comment ça fonctionne

Comme d'autres outils de génération vidéo sur le marché, DynamiCrafter utilise une méthode de diffusion pour convertir des légendes et des images fixes en vidéos de quelques secondes. Inspirés par les phénomènes de diffusion naturels en physique, les modèles de diffusion en apprentissage automatique peuvent transformer des données simples en données plus complexes et réalistes, de manière similaire au déplacement des particules d'une région de haute concentration vers une région de faible concentration. Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

À lire aussi: la recherche alimentée par l'IA de Google génère désormais des images

La deuxième génération de DynamiCrafter produit des vidéos à une résolution de 640 x 1024 pixels, une amélioration par rapport à la vidéo 320 x 512 publiée pour la première fois en octobre. Un article académique publié par l'équipe derrière DynamiCrafter note que sa technique diffère de ses concurrentes en ce qu'elle étend l'applicabilité des techniques d'animation d'images à un « contenu visuel plus général ».
« L'idée clé est d'exploiter les priors de mouvement des modèles de diffusion texte-vers-vidéo en incorporant des images dans le processus de génération comme guide », indique l'article. En revanche, les techniques « traditionnelles » « se concentrent principalement sur l'animation de scènes naturelles avec des dynamiques aléatoires (par exemple, les nuages et les fluides) ou des mouvements spécifiques à un domaine (par exemple, les cheveux ou les mouvements du corps humain). »
Dans une démonstration comparant DynamiCrafter, Stable Video Diffusion (publié en novembre) et le récemment médiatisé Pika Labs, les résultats du modèle de Tencent semblaient plus robustes que les autres. Inévitablement, l'échantillon choisi penchera en faveur de DynamiCrafter. »

Une nouvelle guerre sans armes entre les entreprises

Il est indéniable qu'après la génération de texte et d'images, la génération vidéo devrait être le prochain objectif de la course à l'intelligence artificielle. Par conséquent, les startups et les entreprises technologiques devraient consacrer des ressources importantes à ce domaine. La Chine ne fait pas exception. Outre Tencent et la société mère de TikTok, ByteDance, Baidu et Alibaba ont également publié leurs propres modèles de diffusion vidéo. Voir aussi: Alejandro Estua.

Les deux modèles MagicVideo de ByteDance et UniVG de Baidu ont publié des démos sur GitHub, mais aucun ne semble être accessible au public. À l'instar de Tencent, Alibaba a ouvert le code source de son modèle de génération vidéo, VGen, une stratégie devenue de plus en plus populaire parmi les entreprises technologiques chinoises cherchant à atteindre une communauté de développeurs mondiale. Voir aussi: Alejandro Manzo.