- Joshua Xu, um inovador tecnológico com sólida experiência em tecnologia de publicidade e aprendizado de máquina, passou do Snapchat para cofundar a HeyGen, uma empresa focada em usar IA para narrativa visual.
- A função de criação de humanos digitais da HeyGen chamou a atenção por sua capacidade de criar humanos digitais realistas, o que levou a uma adoção generalizada em empresas de clonagem de IA na China.
- A HeyGen conseguiu atrair investimentos substanciais no setor de IA, com financiamento total de mais de 59 milhões de dólares e rodadas recentes lideradas por investidores renomados.
A trajetória deJoshua Xudesde seu papel marcante naSnapchataté sua posição atual de cofundador e CEO daHeyGenmostra uma evolução notável em sua carreira. Com formação em ciência da computação e vasta experiência em tecnologia de publicidade, as contribuições de Joshua foram fundamentais para a abordagem inovadora da HeyGen em narrativa visual e criação de conteúdo na área de tecnologia de IA.
Joshua Xu: do Snapchat à HeyGen
Joshua Xu é o cofundador e CEO da HeyGen. Ele possui um mestrado em ciência da computação pela Universidade Carnegie Mellon e uma graduação em automação pela Universidade de Tongji. Como um dos 100 primeiros funcionários do Snapchat, Joshua foi o segundo engenheiro da divisão de publicidade e um líder tecnológico chave. Durante seu mandato, ele desempenhou um papel crucial na criação da plataforma de publicidade do Snapchat, do sistema de algoritmo de recomendação e da plataforma de aprendizado de máquina em escala de bilhões, Barista, do zero. Ele também liderou o desenvolvimento técnico e de produto da AI Camera.
Desde novembro de 2020, Joshua trabalha na HeyGen, sediada em Los Angeles, Califórnia. Antes desse cargo, ele trabalhou no Snapchat por mais de seis anos como engenheiro de software. Ele foi o terceiro engenheiro da equipe de Monetização e o primeiro engenheiro de classificação de anúncios. A experiência de Joshua abrange tecnologia de publicidade, incluindo infraestrutura, ritmo, otimização, processamento de dados, classificação e recomendação. Ele também é o criador da plataforma de aprendizado de máquina do Snap, Barista, e possui vasta experiência em fotografia computacional e tecnologia de câmeras.
HeyGen: permitindo que os usuários criem conteúdo a baixo custo
A HeyGen, fundada em novembro de 2020, chamava-se originalmente Surreal. Foi cofundada por Joshua Xu e seu ex-colega da Universidade de Tongji, o ex-designer de produto da ByteDance Wayne Liang. A Sequoia Capital China e a ZhenFund estão entre seus principais investidores.
De acordo com Joshua Xu, a empresa foi nomeada 'Surreal' (pronúncia chinesa 'shiyun') porque a equipe fundadora adorava o romance de ficção científica de Cixin Liu, 'The Cloud of Poem' (pronúncia chinesa 'shiyun'). Eles compartilham a ideia do romance de que 'a criatividade artística humana não pode ser substituída por máquinas e algoritmos'. Eles também acreditam que máquinas e algoritmos podem ajudar os humanos a trabalhar mais rápido, permitindo que se concentrem mais na criação. O objetivo da empresa é 'usar IA para criar conteúdo, ajudando os usuários a concluir a criação de conteúdo a baixo custo'.
No final, acho que nossa visão para a empresa é construir um mecanismo de vídeo para todos. Toda vez que você tem uma nova ideia, pode usar o vídeo para visualizá-la, e isso pode se comunicar melhor.
Joshua Xu
Em seu início, a HeyGen focou no desenvolvimento de tecnologias de geração de imagens de personagens e tentou comercializá-las. A empresa inicialmente mirou os setores de publicidade e comércio eletrônico com o lançamento da plataforma de troca de rostos por IA, capaz de traduzir o texto e a fala dos modelos em imagens e vídeos publicitários dos comerciantes, ajustar os movimentos dos lábios de acordo, e até modificar a aparência dos modelos para se adequar às preferências culturais e estéticas do mundo todo, ajudando assim anunciantes e comerciantes a obter taxas de conversão mais altas.
Em agosto de 2021, a HeyGen anunciou que estava desenvolvendo o Surreal Engine, um mecanismo de geração de conteúdo, com tecnologias principais incluindo aprendizado profundo, compreensão de linguagem natural e modelagem 3D. A HeyGen afirma que o Surreal Engine é um gerador multimodal que pode decompor a geração de conteúdo em três etapas: compreensão, enquadramento e renderização, realizando transições perfeitas entre texto, fala, imagens, vídeos, conteúdo 3D e conteúdo virtual.
No entanto, esses produtos não tiveram um impacto significativo no mercado até setembro de 2022, quando a mais recente ferramenta de geração de vídeo por IA da empresa atraiu a atenção do público por sua capacidade de produzir efeitos de 'humano digital'.
Leia também:Quem é Aetna Wun Trombley? CEO e membro do conselho da Lycia Therapeutics, um inovador incansável
A função de criação de humanos digitais da HeyGen atrai a atenção do público
A empresa promove principalmente sua função de criação de humanos digitais, onde os usuários podem criar um humano digital idêntico à pessoa real em um vídeo simplesmente enviando um clipe de dois minutos. Os usuários também podem ajustar gestos, expressões faciais e movimentos dos lábios para refinar a 'linguagem corporal sutil'.
Como uma pessoa gerada por IA, você pode simplesmente usar texto ou áudio para animá-la e ela pode falar mais de 40 idiomas diferentes. Assim, estamos ajudando a reduzir drasticamente os custos de criação de conteúdo e as pessoas podem se libertar para criar muito mais conteúdo de marketing em vídeo nas diferentes plataformas sociais.
Joshua Xu
Os efeitos altamente realistas da HeyGen a tornaram uma ferramenta comum para empresas de 'clonagem por IA' na China. De acordo com um relatório do Beijing Business Today, algumas pessoas usam especificamente a HeyGen para clonar celebridades ou influenciadores para fins de promoção e serviços pagos, obtendo lucros.
O AI Video Translator da HeyGen pode localizar facilmente anúncios em vídeo, traduzindo automaticamente os roteiros, adaptando as vozes e sincronizando os movimentos dos lábios.
Outra ferramenta é o Avatar 2.0. A HeyGen afirma que se trata de um desenvolvimento revolucionário que redefine o cenário da criação de vídeos personalizados. Esta função permite que os usuários criem avatares de alta qualidade em cinco minutos usando um dispositivo móvel ou laptop.
Além disso, o Personalised Video Generator da HeyGen permite que os usuários criem mensagens de vídeo personalizadas para clientes em potencial. Os usuários podem adaptar cada vídeo a destinatários individuais em poucos minutos.
Em 21 de março deste ano, a HeyGen foi atualizada para a versão 5.0. Esta versão mais recente inclui melhorias abrangentes na interface do usuário, capacidades de edição de vídeo e funções de chat em tempo real para atender à demanda por ferramentas eficientes e inteligentes.
De acordo com Joshua, enquanto os grandes gigantes da internet constroem vigorosamente seus ecossistemas de conteúdo virtual, um mundo digital totalmente imersivo está de fato se tornando cada vez mais próximo da realidade. Consequentemente, a economia do conteúdo corre o risco de enfrentar uma situação em que a demanda supera a oferta.
HeyGen ganha o favor dos investidores no setor de IA
A HeyGen atraiu muita atenção de investidores no campo da IA e levantou mais de 59 milhões de dólares até agora.
Em 2 de março de 2021, a HeyGen anunciou ter obtido um investimento anjo da Sequoia China Seed Fund e ZhenFund, levantando vários milhões de dólares. O dinheiro foi usado para ajudar os clientes a criar imagens e vídeos por meio da tecnologia de geração de conteúdo.
Em 30 de agosto de 2021, a HeyGen anunciou ter levantado vários milhões de dólares em uma rodada de financiamento Pré-A, liderada pela IDG Capital, com investimentos adicionais da Sequoia China Seed Fund e ZhenFund. Os fundos foram usados para desenvolvimento tecnológico, atualizações de produtos e crescimento de mercado.
Em 29 de novembro de 2023, a HeyGen anunciou ter obtido 5,6 milhões de dólares em capital de risco da Conviction Partners, de Sarah Guo. A empresa foi avaliada em 75 milhões de dólares. Sarah Guo substituiu a Sequoia China no conselho de administração.
Em março de 2024, a HeyGen obteve 60 milhões de dólares (aproximadamente 430 milhões de RMB) em financiamento da Benchmark.
Desde 2023, a HeyGen reduziu a presença de seus investidores chineses. Em 11 de dezembro, a entidade chinesa solicitou sua baixa e a empresa se concentrou no mercado americano.
Um insider do setor de vídeo IA afirmou que as baixas barreiras técnicas e a forte concorrência na China poderiam explicar a mudança da HeyGen para o exterior. 'O nível técnico não é alto; a chave são as operações. O mercado chinês é competitivo, outros projetos estão se saindo bem.'
Relatórios indicam que a HeyGen deseja melhor acesso a clientes estrangeiros, evitar pressão governamental e reduzir custos trabalhistas, de transporte e impostos.
Joshua declarou: 'Conhecemos bem nossos investidores, nossos usuários e nossos data centers, portanto a influência do governo não nos afeta.'
A HeyGen declarou que não permitiria que sua tecnologia fosse usada para campanhas políticas ou lobby.