- Joshua Xu — технологический инноватор с солидным опытом в рекламных технологиях и машинном обучении — прошёл путь от Snapchat до сооснователя HeyGen, компании, которая применяет ИИ для визуального повествования.
- Функция HeyGen по созданию цифровых людей привлекла внимание благодаря способности реалистично воспроизводить цифровых людей, что привело к её широкому использованию в китайских компаниях, занимающихся ИИ-клонированием.
- HeyGen удалось привлечь значительные инвестиции в сфере ИИ: общий объём финансирования превысил 59 миллионов долларов, а последние раунды возглавили известные инвесторы.
ПутьJoshua Xuот заметной роли вSnapchatдо нынешней должности сооснователя и генерального директораHeyGenдемонстрирует впечатляющую карьерную эволюцию. Благодаря образованию в области компьютерных наук и большому опыту в рекламных технологиях вклад Joshua стал определяющим для инновационного подхода HeyGen к визуальному повествованию и созданию контента в сфере ИИ.
Joshua Xu: от Snapchat до HeyGen
Joshua Xu — сооснователь и генеральный директор HeyGen. Он получил степень магистра компьютерных наук в Университете Карнеги-Меллона и степень бакалавра по автоматизации в Университете Тунцзи. Войдя в первую сотню сотрудников Snapchat, Joshua был вторым инженером рекламного подразделения и одним из ключевых технологических лидеров. За время работы он сыграл решающую роль в создании с нуля рекламной платформы Snapchat, системы рекомендательных алгоритмов и платформы машинного обучения масштаба миллиарда пользователей Barista. Он также руководил технической и продуктовой разработкой AI Camera.
Читайте также:Кто такой Liran Zvibel? Генеральный директор WEKA, бывший израильский военный, теперь борется с рабочими нагрузками данных
С ноября 2020 года Joshua работает в HeyGen, базирующейся в Лос-Анджелесе, штат Калифорния. До этого он более шести лет проработал в Snapchat инженером-программистом. Он был третьим инженером команды монетизации и первым инженером по ранжированию объявлений. Экспертиза Joshua охватывает рекламные технологии: инфраструктуру, темпы, оптимизацию, обработку данных, ранжирование и рекомендации. Он также создатель платформы машинного обучения Snap — Barista — и обладает большим опытом в вычислительной фотографии и камерных технологиях.
HeyGen: создание контента с меньшими затратами
Компания HeyGen, основанная в ноябре 2020 года, изначально называлась Surreal. Её сооснователями стали Joshua Xu и его бывший однокурсник по Университету Тунцзи, экс-продуктовый дизайнер ByteDance Wayne Liang. Среди основных инвесторов — Sequoia Capital China и ZhenFund.
По словам Joshua Xu, компания получила название «Surreal» (китайское произношение «shiyun»), потому что основателям нравился научно-фантастический роман Cixin Liu «The Cloud of Poem» (китайское произношение «shiyun»). Они разделяют идею романа о том, что «творческие способности человека не могут быть заменены машинами и алгоритмами». Они также считают, что машины и алгоритмы помогают людям работать быстрее, позволяя им больше сосредотачиваться на творчестве. Цель компании — «использовать ИИ для создания контента и помогать пользователям завершать создание контента с меньшими затратами».
В конечном счёте, я думаю, наше видение компании — построить видеодвижок для всех. Когда бы у вас ни появилась новая идея, вы можете использовать видео, чтобы визуализировать её, а это позволяет лучше доносить мысль.
Joshua Xu
На старте HeyGen сосредоточилась на разработке технологий генерации изображений персонажей и пыталась вывести их на рынок. Сначала компания ориентировалась на рекламу и электронную коммерцию, запустив платформу обмена лицами на основе ИИ, которая умеет переводить текст и речь моделей в рекламных изображениях и видео продавцов, подстраивать движения губ и даже менять внешность моделей под культурные и эстетические предпочтения в разных странах, помогая рекламодателям и продавцам добиваться более высоких коэффициентов конверсии.
В августе 2021 года HeyGen объявила, что разрабатывает движок генерации контента Surreal Engine; базовые технологии включают глубокое обучение, понимание естественного языка и 3D-моделирование. По заявлению HeyGen, Surreal Engine — это мультимодальный генератор, который разбивает создание контента на три этапа: понимание, кадрирование и рендеринг, обеспечивая бесшовные переходы между текстом, речью, изображениями, видео, 3D- и виртуальным контентом.
Однако эти продукты не оказали значимого влияния на рынок до сентября 2022 года, когда новый инструмент HeyGen для генерации видео с помощью ИИ привлёк внимание публики способностью создавать эффект «цифрового человека».
Читайте также:Кто такая Aetna Wun Trombley? Генеральный директор и член совета директоров Lycia Therapeutics, неутомимый новатор
Функция HeyGen по созданию цифровых людей привлекает внимание публики
Компания продвигает в первую очередь функцию создания цифровых людей: пользователь может создать в видео цифровую копию реального человека, просто загрузив двухминутный ролик. Также можно настраивать жесты, мимику и движения губ, чтобы отточить «тонкий язык тела».
Цифрового человека, созданного с помощью ИИ, можно оживить простым текстом или аудио, и он сможет говорить более чем на 40 языках. Так мы существенно снижаем стоимость создания контента, и люди могут выпускать гораздо больше видеомаркетинга для разных социальных платформ.
Joshua Xu
Благодаря высокой реалистичности эффектов HeyGen стала обычным инструментом для китайских компаний, занимающихся «ИИ-клонированием». По данным Beijing Business Today, некоторые специально используют HeyGen для клонирования знаменитостей и блогеров в целях продвижения и платных услуг и получают на этом прибыль.
AI Video Translator от HeyGen позволяет легко локализовать видеообъявления: он автоматически переводит сценарии, адаптирует голоса и синхронизирует движения губ.
Ещё один инструмент — Avatar 2.0. По словам HeyGen, это революционная разработка, которая меняет ландшафт персонализированного видеотворчества. Функция позволяет создавать высококачественные аватары за пять минут с помощью смартфона или ноутбука.
Кроме того, Personalized Video Generator от HeyGen позволяет создавать персонализированные видеосообщения для потенциальных клиентов. Каждое видео можно адаптировать под конкретного получателя за несколько минут.
21 марта этого года HeyGen обновилась до версии 5.0. В новую версию вошли комплексные улучшения пользовательского интерфейса, возможности видеомонтажа и функции чата в реальном времени — в ответ на спрос на эффективные и умные инструменты.
По словам Joshua, пока крупные интернет-гиганты активно строят экосистемы виртуального контента, полностью иммерсивный цифровой мир действительно становится всё ближе к реальности. В результате экономика контента рискует столкнуться с ситуацией, когда спрос превысит предложение.
HeyGen завоёвывает симпатии инвесторов в сфере ИИ
HeyGen привлекла большое внимание инвесторов в сфере ИИ и на сегодняшний день собрала более 59 миллионов долларов.
2 марта 2021 года HeyGen объявила о получении ангельского раунда от Sequoia China Seed Fund и ZhenFund в размере нескольких миллионов долларов. Средства были направлены на то, чтобы помогать клиентам создавать изображения и видео с помощью технологии генерации контента.
30 августа 2021 года HeyGen объявила о привлечении нескольких миллионов долларов в раунде Pre-A, который возглавил IDG Capital; дополнительные инвестиции вложили Sequoia China Seed Fund и ZhenFund. Средства были использованы для развития технологий, обновления продуктов и расширения рынка.
29 ноября 2023 года HeyGen объявила о получении 5,6 миллиона долларов венчурного финансирования от Conviction Partners, фонда Sarah Guo. Компания была оценена в 75 миллионов долларов. Sarah Guo сменила Sequoia China в совете директоров.
В марте 2024 года HeyGen получила 60 миллионов долларов (примерно 430 миллионов юаней) финансирования от Benchmark.
С 2023 года HeyGen сокращает присутствие китайских инвесторов. 11 декабря китайское юридическое лицо подало заявление о ликвидации, и компания сосредоточилась на американском рынке.
Источник в индустрии ИИ-видео отметил, что низкие технические барьеры и высокая конкуренция в Китае могут объяснять переезд HeyGen за рубеж. «Технический уровень невысокий; главное — операции. На китайском рынке высокая конкуренция, другие проекты чувствуют себя неплохо».
Согласно сообщениям, HeyGen хочет получить лучший доступ к зарубежным клиентам, избежать давления со стороны государства и сократить расходы на персонал, логистику и налоги.
Joshua заявил: «Мы хорошо знаем своих инвесторов, пользователей и центры обработки данных, поэтому влияние государства нас не касается».
HeyGen заявила, что не позволит использовать свою технологию в политических кампаниях или лоббизме.