• Follow-Your-Click prend des images associées à de simples invites textuelles et les transforme en courts clips vidéo en un seul clic
  • Tencent a collaboré avec des chercheurs d’universités de Hong Kong et de Pékin dans un contexte d’enthousiasme croissant autour de la génération vidéo par IA

NOTRE AVIS
Contrairement à ChatGPT, le Follow-Your-Click de Tencent combine des images avec de simples invites textuelles qui peuvent être converties en courts clips vidéo en un seul clic.
Alors que d’autres modèles exigent que les utilisateurs décrivent en détail comment et où faire bouger l’image, Follow-Your-Click permet de se concentrer de manière plus spécifique sur des éléments particuliers de l’image.
-Jennifer YU, BTW reporter

Le géant chinois de l’internet Tencent Holdings a présenté vendredi un modèle d’intelligence artificielle (IA) image-vers-vidéo en collaboration avec des partenaires universitaires.

Follow-Your-Click

L’outil d’animation d’images appelé Follow-Your-Click a été publié sur le site de code open source de Microsoft, GitHub, dans un contexte d’effervescence croissante autour des outils de génération de contenu comme Chat d’OpenAI.

Le projet est une collaboration entre l’équipe Hunyuan de Tencent, l’Université des sciences et technologies de Hong Kong et l’Université Tsinghua, l’une des deux meilleures universités de Chine continentale à Pékin.

À lire aussi: L’exode du jeu vidéo chez ByteDance: les discussions avec Tencent redéfinissent l’industrie

Ses fonctionnalités

Follow-Your-Click permet aux utilisateurs de cliquer sur certaines parties d’une image avec une simple invite textuelle indiquant comment ils souhaitent la faire bouger, pour transformer une image fixe en une courte vidéo animée.

Tencent a déclaré qu’il publiera le code complet du modèle en avril, mais une démo est déjà disponible sur GitHub.

Les chercheurs y ont présenté certaines de ses capacités, avec un résultat montrant comment une image d’une fille debout à l’extérieur avec la simple invite en un mot “tempête” s’est transformée en une animation avec des éclairs en arrière-plan.

Selon un article académique des chercheurs des trois organisations, Follow-Your-Click vise à résoudre le problème rencontré par d’autres modèles image-vers-vidéo sur le marché, qui ont tendance à déplacer toute la scène plutôt que de se concentrer sur des objets spécifiques dans l’image. »

« Notre cadre offre un contrôle utilisateur plus simple mais précis et de meilleures performances de génération que les méthodes précédentes », ont déclaré les chercheurs dans l’article publié mercredi.