- Joshua Xu, un innovador tecnológico con una sólida experiencia en tecnología publicitaria y aprendizaje automático, pasó de Snapchat a cofundar HeyGen, una empresa centrada en el uso de IA para la narración visual.
- La función de creación de humanos digitales de HeyGen ha ganado gran atención por su capacidad para crear humanos digitales realistas, lo que ha llevado a una adopción generalizada en los negocios de clonación con IA en China.
- HeyGen ha atraído con éxito una inversión sustancial en el sector de la IA, con una financiación total de más de $59 millones y rondas recientes lideradas por inversores de renombre.
El recorrido deJoshua Xudesde su importante papel enSnapchathasta su posición actual como cofundador y CEO deHeyGenmuestra una notable evolución en su carrera. Con una formación en Ciencias de la Computación y una gran experiencia en tecnología publicitaria, las contribuciones de Joshua han sido fundamentales para impulsar el enfoque innovador de HeyGen en la narración visual y la creación de contenidos en el ámbito de la tecnología de IA.
Joshua Xu: de Snapchat a HeyGen
Joshua Xu es el cofundador y CEO de HeyGen. Tiene una maestría en Ciencias de la Computación de Carnegie Mellon University y una licenciatura en Automatización de Tongji University. Como uno de los primeros 100 empleados de Snapchat, Joshua fue el ingeniero número 2 en la División de Publicidad y un líder tecnológico central. Durante su mandato, desempeñó un papel crucial en la construcción de la plataforma publicitaria de Snapchat, el sistema de algoritmos de recomendación y la plataforma de aprendizaje automático de datos a escala de mil millones, Barista, desde cero. También lideró el desarrollo técnico y de producto de la Cámara AI.
Lea también:Quién es Liran Zvibel? CEO de WEKA fue soldado israelí, ahora combate cargas de trabajo de datos
Desde noviembre de 2020, Joshua trabaja en HeyGen, con sede en Los Ángeles, California. Antes de este cargo, trabajó en Snapchat durante más de seis años como ingeniero de software. Fue el tercer ingeniero del equipo de Monetización y el primer ingeniero en Ranking de Anuncios. La experiencia de Joshua abarca la tecnología publicitaria, incluyendo infraestructura, ritmo, optimización, procesamiento de datos, ranking y recomendación. También es el creador de la plataforma de aprendizaje automático de Snap, Barista, y tiene amplia experiencia en fotografía computacional y tecnología de cámaras.
HeyGen: permitiendo a los usuarios completar la creación de contenido a menores costos
HeyGen, fundada en noviembre de 2020, originalmente se llamaba Surreal. Fue cofundada por Joshua Xu y su ex compañero de Tongji University, el ex diseñador de productos deByteDanceWayne Liang.Sequoia CapitalChina yZhenFundestán entre sus inversores clave.
Según Joshua Xu, la empresa se llamó “Surreal” (pronunciación china “shiyun”) porque al equipo fundador le gustaba la novela de ciencia ficción de Cixin Liu “La nube del poema” (pronunciación china “shiyun”). Están de acuerdo con la idea de la novela de que “la creatividad artística humana no puede ser reemplazada por máquinas y algoritmos”. También piensan que las máquinas y los algoritmos pueden ayudar a los humanos a trabajar más rápido, permitiendo que las personas se concentren más en crear. El objetivo de la empresa es “usar IA para crear contenido, ayudando a los usuarios a finalizar la creación de contenido a menores costos”.
En última instancia, creo que nuestra visión para la empresa es construir un motor de video para todos, de modo que cada vez que tengas una nueva idea, puedas usar video para visualizarla, y eso pueda comunicarse mejor.
Joshua Xu
En sus inicios, HeyGen se centró en desarrollar tecnologías de generación de imágenes de personajes e intentó llevarlas al mercado.
La empresa inicialmente se dirigió a los sectores de publicidad y comercio electrónico con el lanzamiento de la plataforma de intercambio de caras con IA, que puede traducir el texto y el habla de los modelos en las imágenes y videos publicitarios de los comerciantes, ajustar los movimientos de los labios en consecuencia e incluso cambiar la apariencia de los modelos para adaptarse a las preferencias culturales y estéticas de todo el mundo, ayudando a anunciantes y comerciantes a lograr tasas de conversión más altas.
En agosto de 2021, HeyGen anunció que estaba desarrollando el motor de generación de contenido Surreal Engine, con tecnologías centrales que incluyen aprendizaje profundo, comprensión del lenguaje natural y modelado 3D. HeyGen afirma que Surreal Engine es un generador multimodal que puede descomponer la generación de contenido en tres pasos: comprensión, encuadre y renderizado, logrando transiciones perfectas entre texto, voz, imágenes, videos, contenido 3D y contenido virtual.
Sin embargo, estos productos no tuvieron un impacto significativo en el mercado hasta septiembre de 2022, cuando la última herramienta de generación de video con IA de la empresa ganó atención pública por su capacidad para producir efectos de “humano digital”.
Lea también:Quién es Aetna Wun Trombley? CEO, miembro de la junta de Lycia Therapeutics es una innovadora incansable
La función de creación de humanos digitales de HeyGen gana atención pública
La empresa promueve principalmente su función de creación de humanos digitales, donde los usuarios pueden crear un humano digital idéntico a la persona real en un video simplemente subiendo un clip de dos minutos. Los usuarios también pueden ajustar gestos, expresiones faciales y movimientos de labios para afinar el “lenguaje corporal sutil”.
Como una persona compuesta por IA que puedes manejar solo con texto o audio, y que puede hablar más de 40 idiomas diferentes. De esa manera, ayudamos a reducir gran parte del costo de creación de contenido y las personas pueden liberarse para hacer mucho más contenido de video marketing en las diferentes plataformas sociales.
Joshua Xu
Los efectos altamente realistas de HeyGen lo han convertido en una herramienta principal para los negocios de “clonación con IA” en China. Según un informe de Beijing Business Today, algunas personas utilizan específicamente HeyGen para clonar celebridades o influencers para promociones y servicios pagos, obteniendo así ganancias.
El Traductor de Video con IA de HeyGen puede localizar fácilmente anuncios de video traduciendo automáticamente guiones, emparejando voces y sincronizando los movimientos de labios.
Otra herramienta es Avatar 2.0. HeyGen afirma que es un desarrollo innovador que redefine el panorama de la creación de video personalizada. Esta función permite a los usuarios crear avatares de alta calidad en cinco minutos utilizando un dispositivo móvil o una computadora portátil.
Además, el Generador de Video Personalizado de HeyGen permite a los usuarios crear mensajes de video personalizados para clientes potenciales. Los usuarios pueden adaptar cada video a destinatarios individuales en minutos.
El 21 de marzo de este año, HeyGen se actualizó a la versión 5.0. Esta última versión incluye mejoras integrales en la interfaz de usuario, capacidades de edición de video y funciones de chat en tiempo real para satisfacer la demanda de herramientas eficientes e inteligentes.
En opinión de Joshua, a medida que los grandes gigantes de Internet construyen vigorosamente sus ecosistemas de contenido virtual, un mundo digital completamente inmersivo se acerca cada vez más a la realidad. En consecuencia, la economía del contenido probablemente enfrentará una situación de demanda que supera la oferta.
HeyGen gana el favor de los inversores en el sector de la IA
HeyGen recibió mucha atención de los inversores en el campo de la IA y ha recaudado más de $59 millones hasta ahora.
El 2 de marzo de 2021, HeyGen anunció que recibió inversión ángel de Sequoia China Seed Fund y ZhenFund, recaudando varios millones de dólares. El dinero se utilizó para ayudar a los clientes a crear imágenes y videos con tecnología de generación de contenido.
El 30 de agosto de 2021, HeyGen anunció que recaudó varios millones de dólares en una ronda Pre-A, liderada por IDG Capital, con inversión adicional de Sequoia China Seed Fund y ZhenFund. Los fondos se utilizaron para desarrollo tecnológico, actualizaciones de productos y crecimiento de mercado.
El 29 de noviembre de 2023, HeyGen anunció que recibió $5.6 millones en capital de riesgo de Conviction Partners de Sarah Guo. La empresa fue valorada en $75 millones. Sarah Guo reemplazó a Sequoia China en la junta.
En marzo de 2024, HeyGen recibió $60 millones (aproximadamente 430 millones de RMB) en financiación de Benchmark.
Desde 2023, HeyGen ha estado reduciendo su presencia de inversores chinos. El 11 de diciembre, la entidad china solicitó la cancelación del registro, y la empresa se centró en el mercado estadounidense.
Un experto en video IA dijo que las bajas barreras técnicas y la alta competencia en China pueden explicar la mudanza de HeyGen al extranjero. “El nivel técnico no es alto; la clave son las operaciones. El mercado chino es competitivo, con otros proyectos que funcionan bien”.
Los informes dicen que HeyGen quiere un mejor acceso a clientes extranjeros, evitar la presión del gobierno y reducir costos en mano de obra, transporte e impuestos.
Joshua dijo: “Conocemos bien a nuestros inversores, usuarios y centros de datos, por lo que la influencia del gobierno no nos afecta”.
HeyGen dijo que no permitirá que su tecnología se utilice para campañas políticas o cabildeo.