Who is Joshua Xu? Co-founder of HeyGen creating new era of AI video generation

• Joshua Xu, un innovateur technologique avec une solide expérience en technologie publicitaire et en apprentissage automatique, est passé de Snapchat à la co-fondation de HeyGen, une entreprise spécialisée dans l’utilisation de l’IA pour le storytelling visuel.
• La fonction de création d’humains numériques de HeyGen a attiré une attention considérable pour sa capacité à créer des humains numériques réalistes, conduisant à une adoption généralisée dans les entreprises de clonage par IA en Chine.
• HeyGen a réussi à attirer des investissements substantiels dans le secteur de l’IA, avec un financement total de plus de 59 millions de dollars et des levées de fonds récentes menées par des investisseurs renommés.

Joshua Xu, de son rôle marquant chez Snapchat à son poste actuel de co-fondateur et PDG de HeyGen, témoigne d’une évolution remarquable de sa carrière. Avec une formation en informatique et une riche expérience en technologie publicitaire, les contributions de Joshua ont joué un rôle déterminant dans l’approche innovante de HeyGen en matière de storytelling visuel et de création de contenu dans le domaine de l’IA.

Joshua Xu: de Snapchat à HeyGen

Joshua Xu est co-fondateur et PDG de HeyGen. Il est titulaire d’un master en informatique de l’Université Carnegie Mellon et d’une licence en automatique de l’Université Tongji. Faisant partie des 100 premiers employés de Snapchat, Joshua était le deuxième ingénieur de la division publicité et un leader technologique clé. Au cours de son mandat, il a joué un rôle crucial dans la création de la plateforme publicitaire de Snapchat, du système d’algorithme de recommandation et de la plateforme de machine learning à l’échelle du milliard de données, Barista, à partir de zéro. Il a également dirigé le développement technique et produit de la caméra IA. Voir aussi: Who is Joshua Xu? Co-founder of HeyGen creating new era of AI video generation.

À lire aussi: Qui est Liran Zvibel ? Le PDG de WEKA, ancien soldat israélien, combat désormais les charges de travail de données

Depuis novembre 2020, Joshua travaille chez HeyGen, basé à Los Angeles, en Californie. Avant cela, il a travaillé chez Snapchat pendant plus de six ans en tant qu’ingénieur logiciel. Il était le troisième ingénieur de l’équipe Monétisation et le premier ingénieur en classement des publicités. L’expertise de Joshua couvre la technologie publicitaire, y compris l’infrastructure, le rythme, l’optimisation, le traitement des données, le classement et la recommandation. Il est également le créateur de la plateforme de machine learning de Snap, Barista, et possède une vaste expérience en photographie computationnelle et en technologie de caméra. Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

HeyGen: permettre aux utilisateurs de finaliser la création de contenu à moindre coût

HeyGen, fondée en novembre 2020, s’appelait initialement Surreal. Elle a été co-fondée par Joshua Xu et son camarade de l’Université Tongji, l’ancien concepteur de produits ByteDance Wayne Liang. Sequoia Capital Chine et ZhenFund figurent parmi ses principaux investisseurs.

Selon Joshua Xu, l’entreprise a été nommée « Surreal » (prononciation chinoise « shiyun ») parce que l’équipe fondatrice aimait tous le roman de science-fiction de Cixin Liu, « Le Nuage de poésie » (prononciation chinoise « shiyun »). Ils partagent l’idée du roman selon laquelle « la créativité artistique humaine ne peut être remplacée par des machines et des algorithmes ». Ils pensent également que les machines et les algorithmes peuvent aider les humains à travailler plus rapidement, permettant aux gens de se concentrer davantage sur la création. L’objectif de l’entreprise est « d’utiliser l’IA pour créer du contenu, aidant les utilisateurs à finaliser la création de contenu à moindre coût ». Voir aussi: Alejandro Estua.

En fin de compte, je pense que notre vision pour l’entreprise est de construire un moteur vidéo pour tout le monde, afin que chaque fois que vous avez une nouvelle idée, vous puissiez utiliser la vidéo pour la visualiser et mieux la communiquer. Voir aussi: Alejandro Manzo.

Joshua Xu

À sa création, HeyGen s’est concentrée sur le développement de technologies de génération d’images de personnages et a tenté de les commercialiser. L’entreprise a d’abord ciblé les secteurs de la publicité et du commerce électronique avec le lancement de la plateforme d’échange de visages par IA, capable de traduire le texte et la parole des mannequins dans les images et vidéos publicitaires des commerçants, d’ajuster les mouvements des lèvres en conséquence, et même de modifier l’apparence des mannequins pour s’adapter aux préférences culturelles et esthétiques du monde entier, aidant ainsi les annonceurs et les commerçants à atteindre des taux de conversion plus élevés. Voir aussi: Alejandro Hernandez.

En août 2021, HeyGen a annoncé le développement du moteur de génération de contenu Surreal Engine, avec des technologies de base incluant l’apprentissage profond, la compréhension du langage naturel et la modélisation 3D. HeyGen affirme que Surreal Engine est un générateur multimodal qui peut décomposer la génération de contenu en trois étapes: compréhension, cadrage et rendu, réalisant des transitions fluides entre texte, parole, images, vidéos, contenu 3D et contenu virtuel. Voir aussi: Alejandro Garza.

Cependant, ces produits n’ont pas eu d’impact significatif sur le marché jusqu’en septembre 2022, lorsque le dernier outil de génération vidéo par IA de l’entreprise a attiré l’attention du public pour sa capacité à produire des effets d’« humain numérique ». Voir aussi: Alejandro Guerrero.

À lire aussi: Qui est Aetna Wun Trombley ? PDG et membre du conseil d’administration de Lycia Therapeutics, un innovateur infatigable

La fonction de création d’humains numériques de HeyGen attire l’attention du public

L’entreprise promeut principalement sa fonction de création d’humains numériques, où les utilisateurs peuvent créer un humain numérique identique à la personne réelle dans une vidéo en téléchargeant simplement un clip de deux minutes. Les utilisateurs peuvent également ajuster les gestes, les expressions faciales et les mouvements des lèvres pour affiner le « langage corporel subtil ».

En tant que personne propulsée par l’IA, vous pouvez simplement utiliser du texte ou de l’audio pour la piloter, et elle peut parler plus de 40 langues différentes. Ainsi, nous contribuons à réduire considérablement les coûts de création de contenu, et les gens peuvent être libérés de créer beaucoup plus de contenu de marketing vidéo sur les différentes plateformes sociales.

Joshua Xu

Les effets très réalistes de HeyGen en ont fait un outil grand public pour les entreprises de « clonage par IA » en Chine. Selon un rapport de Beijing Business Today, certaines personnes utilisent spécifiquement HeyGen pour cloner des célébrités ou des influenceurs à des fins de promotion et de services payants, réalisant ainsi des bénéfices.

Le traducteur vidéo IA de HeyGen peut facilement localiser les publicités vidéo en traduisant automatiquement les scripts, en adaptant les voix et en synchronisant les mouvements des lèvres.

Un autre outil est Avatar 2.0. HeyGen affirme qu’il s’agit d’un développement révolutionnaire qui redéfinit le paysage de la création vidéo personnalisée. Cette fonction permet aux utilisateurs de créer des avatars de haute qualité en cinq minutes à l’aide d’un appareil mobile ou d’un ordinateur portable.

De plus, le générateur de vidéos personnalisées de HeyGen permet aux utilisateurs de créer des messages vidéo personnalisés pour des clients potentiels. Les utilisateurs peuvent adapter chaque vidéo à des destinataires individuels en quelques minutes.

Le 21 mars de cette année, HeyGen a été mis à jour vers la version 5.0. Cette dernière version comprend des améliorations complètes de l’interface utilisateur, des capacités de montage vidéo et des fonctions de chat en temps réel pour répondre à la demande d’outils efficaces et intelligents.

Selon Joshua, alors que les géants de l’Internet construisent vigoureusement leurs écosystèmes de contenu virtuel, un monde numérique totalement immersif devient de plus en plus proche de la réalité. Par conséquent, l’économie du contenu risque de faire face à une situation où la demande dépasse l’offre.

HeyGen gagne les faveurs des investisseurs dans le secteur de l’IA

HeyGen a attiré beaucoup d’attention de la part des investisseurs dans le domaine de l’IA et a levé plus de 59 millions de dollars jusqu’à présent.

Le 2 mars 2021, HeyGen a déclaré avoir reçu un investissement providentiel de Sequoia China Seed Fund et ZhenFund, levant plusieurs millions de dollars. L’argent a été utilisé pour aider les clients à créer des images et des vidéos grâce à la technologie de génération de contenu.

Le 30 août 2021, HeyGen a annoncé avoir levé plusieurs millions de dollars lors d’un tour de table Pre-A, mené par IDG Capital, avec des investissements supplémentaires de Sequoia China Seed Fund et ZhenFund. Les fonds ont été utilisés pour le développement technologique, les mises à jour de produits et la croissance du marché.

Le 29 novembre 2023, HeyGen a déclaré avoir obtenu 5,6 millions de dollars en capital-risque de Conviction Partners de Sarah Guo. L’entreprise était évaluée à 75 millions de dollars. Sarah Guo a remplacé Sequoia China au conseil d’administration.

En mars 2024, HeyGen a obtenu 60 millions de dollars (environ 430 millions de RMB) de financement de Benchmark.

Depuis 2023, HeyGen réduit la présence de ses investisseurs chinois. Le 11 décembre, l’entité chinoise a demandé sa radiation, et l’entreprise s’est concentrée sur le marché américain.

Un initié du secteur de la vidéo IA a déclaré que les faibles barrières techniques et la forte concurrence en Chine pourraient expliquer le déménagement de HeyGen à l’étranger. « Le niveau technique n’est pas élevé; la clé, ce sont les opérations. Le marché chinois est concurrentiel, et d’autres projets se portent bien. »

Selon les rapports, HeyGen souhaite un meilleur accès aux clients étrangers, éviter les pressions gouvernementales et réduire les coûts de main-d’œuvre, de transport et de taxes.

Joshua a déclaré: « Nous connaissons bien nos investisseurs, nos utilisateurs et nos centres de données, donc l’influence du gouvernement ne nous affecte pas. »

HeyGen a déclaré qu’elle ne permettrait pas que sa technologie soit utilisée pour des campagnes politiques ou du lobbying.