Who is Joshua Xu? Co-founder of HeyGen creating new era of AI video generation

• Joshua Xu, un innovador tecnológico con una sólida experiencia en tecnología publicitaria y aprendizaje automático, pasó de Snapchat a cofundar HeyGen, una empresa centrada en el uso de la IA para la narración visual.
• La función de creación de humanos digitales de HeyGen ha llamado mucho la atención por su capacidad para crear humanos digitales realistas, lo que ha llevado a una adopción generalizada en los negocios de clonación con IA en China.
• HeyGen ha atraído con éxito una inversión sustancial en el sector de la IA, con una financiación total de más de 59 millones de dólares y rondas recientes lideradas por inversores de renombre.

Joshua Xu‘s journey from his impactful role at Snapchat to his current position as co-founder and CEO of HeyGen showcases a remarkable evolution in his career. With a background in Computer Science and a wealth of experience in advertising technology, Joshua’s contributions have been instrumental in driving HeyGen’s innovative approach to visual storytelling and content creation in the realm of AI technology.

Joshua Xu: de Snapchat a HeyGen

Joshua Xu es cofundador y CEO de HeyGen. Tiene una maestría en Ciencias de la Computación por la Universidad Carnegie Mellon y una licenciatura en Automatización por la Universidad Tongji. Como uno de los primeros 100 empleados de Snapchat, Joshua fue el ingeniero número 2 en la División de Publicidad y un líder tecnológico principal. Durante su mandato, desempeñó un papel crucial en la construcción desde cero de la plataforma publicitaria de Snapchat, el sistema de algoritmos de recomendación y la plataforma de aprendizaje automático de datos a escala de mil millones, Barista. También lideró el desarrollo técnico y de productos de la Cámara IA. Ver también: Who is Joshua Xu? Co-founder of HeyGen creating new era of AI video generation.

También lea: ¿Quién es Liran Zvibel? CEO de WEKA fue soldado israelí, ahora combate cargas de trabajo de datos

Desde noviembre de 2020, Joshua trabaja en HeyGen, con sede en Los Ángeles, California. Antes de este puesto, trabajó en Snapchat durante más de seis años como ingeniero de software. Fue el tercer ingeniero en el equipo de Monetización y el primer ingeniero en Clasificación de Anuncios. La experiencia de Joshua abarca la tecnología publicitaria, incluyendo infraestructura, ritmo, optimización, procesamiento de datos, clasificación y recomendación. También es el creador de la plataforma de aprendizaje automático de Snap, Barista, y tiene una amplia experiencia en fotografía computacional y tecnología de cámaras. Ver también: Ziggo Group nombra a sus líderes antes de su salida a bolsa en Ámsterdam en 2027.

HeyGen: permitiendo a los usuarios completar la creación de contenido a menores costos

HeyGen, fundada en noviembre de 2020, originalmente se llamaba Surreal. Fue cofundada por Joshua Xu y su ex compañero de la Universidad Tongji, el ex diseñador de productos de ByteDance Wayne Liang. Sequoia Capital China y ZhenFund se encuentran entre sus inversores clave.

Según Joshua Xu, la empresa se llamó “Surreal” (pronunciación en chino “shiyun”) porque al equipo fundador le gustaba la novela de ciencia ficción de Cixin Liu “La nube del poema” (pronunciación en chino “shiyun”). Están de acuerdo con la idea de la novela de que “la creatividad artística humana no puede ser reemplazada por máquinas y algoritmos”. También piensan que las máquinas y los algoritmos pueden ayudar a los humanos a trabajar más rápido, permitiendo que las personas se centren más en la creación. El objetivo de la empresa es “usar la IA para crear contenido, ayudando a los usuarios a completar la creación de contenido a menores costos”. Ver también: Alejandro Estua.

En última instancia, creo que nuestra visión para la empresa es construir un motor de video para todos, de modo que cada vez que tengas una nueva idea, puedas usar el video para visualizarla y comunicarla mejor. Ver también: Alejandro Manzo.

Joshua Xu

En sus inicios, HeyGen se centró en el desarrollo de tecnologías de generación de imágenes de personajes e intentó llevarlas al mercado. La empresa inicialmente se dirigió a los sectores de publicidad y comercio electrónico con el lanzamiento de la plataforma de intercambio de rostros con modelos de IA, que puede traducir el texto y el habla de los modelos en las imágenes y videos publicitarios de los comerciantes, ajustar los movimientos de los labios en consecuencia e incluso cambiar las apariencias de los modelos para adaptarse a las preferencias culturales y estéticas de todo el mundo, ayudando a anunciantes y comerciantes a lograr mayores tasas de conversión. Ver también: Alejandro Hernandez.

En agosto de 2021, HeyGen anunció que estaba desarrollando el motor de generación de contenido Surreal Engine, con tecnologías centrales que incluyen aprendizaje profundo, comprensión del lenguaje natural y modelado 3D. HeyGen afirma que Surreal Engine es un generador multimodal que puede descomponer la generación de contenido en tres pasos: comprensión, encuadre y renderizado, logrando transiciones perfectas entre texto, voz, imágenes, videos, contenido 3D y contenido virtual. Ver también: Alejandro Garza.

Sin embargo, estos productos no tuvieron un impacto significativo en el mercado hasta septiembre de 2022, cuando la última herramienta de generación de video con IA de la empresa llamó la atención del público por su capacidad para producir efectos de “humano digital”. Ver también: Alejandro Guerrero.

También lea: ¿Quién es Aetna Wun Trombley? CEO y miembro de la junta de Lycia Therapeutics es una innovadora incansable

La función de creación de humanos digitales de HeyGen atrae la atención del público

La empresa promueve principalmente su función de creación de humanos digitales, donde los usuarios pueden crear un humano digital idéntico a la persona real en un video simplemente subiendo un clip de dos minutos. Los usuarios también pueden ajustar gestos, expresiones faciales y movimientos de labios para afinar el “lenguaje corporal sutil”. Ver también: Alec Gramont.

Como una persona impulsada por IA que puedes controlar con texto o audio y que puede hablar más de 40 idiomas diferentes. De esta manera, ayudamos a reducir muchos de los costos de creación de contenido y las personas pueden desbloquearse para hacer mucho más contenido de marketing de video en las diferentes plataformas sociales.

Joshua Xu

Los efectos altamente realistas de HeyGen la han convertido en una herramienta convencional para los negocios de “clonación con IA” en China. Según un informe de Beijing Business Today, algunas personas utilizan específicamente HeyGen para clonar celebridades o influencers para promociones y servicios pagos, obteniendo así ganancias.

El Traductor de Video con IA de HeyGen puede localizar fácilmente anuncios de video traduciendo automáticamente guiones, emparejando voces y sincronizando los movimientos de los labios.

Otra herramienta es Avatar 2.0. HeyGen afirma que se trata de un desarrollo innovador que redefine el panorama de la creación de videos personalizados. Esta función permite a los usuarios crear avatares de alta calidad en cinco minutos utilizando un dispositivo móvil o una computadora portátil.

Además, el Generador de Videos Personalizados de HeyGen permite a los usuarios crear mensajes de video personalizados para clientes potenciales. Los usuarios pueden adaptar cada video a destinatarios individuales en cuestión de minutos.

El 21 de marzo de este año, HeyGen se actualizó a la versión 5.0. Esta última versión incluye mejoras integrales en la interfaz de usuario, capacidades de edición de video y funciones de chat en tiempo real para satisfacer la demanda de herramientas eficientes e inteligentes.

En opinión de Joshua, a medida que los grandes gigantes de Internet construyen vigorosamente sus ecosistemas de contenido virtual, un mundo digital totalmente inmersivo se está volviendo cada vez más cercano a la realidad. En consecuencia, es probable que la economía del contenido enfrente un estado de demanda que supera la oferta.

HeyGen se gana el favor de los inversores en el sector de la IA

HeyGen recibió mucha atención de los inversores en el campo de la IA y ha recaudado más de 59 millones de dólares hasta ahora.

El 2 de marzo de 2021, HeyGen dijo que recibió inversión ángel de Sequoia China Seed Fund y ZhenFund, recaudando varios millones de dólares. El dinero se utilizó para ayudar a los clientes a crear imágenes y videos con tecnología de generación de contenido.

El 30 de agosto de 2021, HeyGen dijo que recaudó varios millones de dólares en una ronda Pre-A, liderada por IDG Capital, con inversión adicional de Sequoia China Seed Fund y ZhenFund. Los fondos se utilizaron para desarrollo tecnológico, actualizaciones de productos y crecimiento del mercado.

El 29 de noviembre de 2023, HeyGen dijo que obtuvo 5,6 millones de dólares en capital de riesgo de Conviction Partners de Sarah Guo. La empresa fue valorada en 75 millones de dólares. Sarah Guo reemplazó a Sequoia China en la junta.

En marzo de 2024, HeyGen recibió 60 millones de dólares (alrededor de 430 millones de RMB) en financiación de Benchmark.

Desde 2023, HeyGen ha estado reduciendo su presencia de inversores chinos. El 11 de diciembre, la entidad china solicitó la baja y la empresa se centró en el mercado estadounidense.

Un conocedor del video con IA dijo que las bajas barreras técnicas y la alta competencia en China pueden explicar el traslado de HeyGen al extranjero. “El nivel técnico no es alto; la clave son las operaciones. El mercado chino es competitivo, con otros proyectos que lo están haciendo bien”.

Los informes dicen que HeyGen quiere un mejor acceso a clientes extranjeros, evitar la presión gubernamental y reducir costos en mano de obra, transporte e impuestos.

Joshua dijo: “Conocemos bien a nuestros inversores, usuarios y centros de datos, por lo que la influencia gubernamental no nos afecta”.

HeyGen dijo que no permitirá que su tecnología se utilice para campañas políticas o cabildeo.