• Meta, материнская компания Facebook, объявила о намерении значительно увеличить вычислительную мощность для обучения своей большой языковой модели следующего поколения — Llama 4.
  • Zuckerberg утверждает, что для Llama 4 потребуется в десять раз больше ресурсов, чем для Llama 3, чтобы сохранять конкурентоспособность в сфере ИИ. Этот стратегический шаг направлен на то, чтобы Meta оставалась конкурентоспособной в быстро развивающейся области ИИ.

НАШЕ МНЕНИЕ
Рост стоимости обучения больших языковых моделей создаёт вызовы для Meta и OpenAI. Хотя инвестиции в гибкую инфраструктуру крайне важны, краткосрочные доходы от генеративного ИИ могут быть ограниченными. Успех ИИ-чатбота Meta в Индии демонстрирует потенциал ИИ на развивающихся рынках, что подчёркивает необходимость стратегического предвидения по мере эволюции конкурентного ландшафта.
— Lilith Chen, репортёр BTW

Что произошло?

Во время недавнего отчёта о прибыляхMark Zuckerbergсообщил, что требования к обучению Llama 4, как ожидается, будут существенно выше, чем у Llama 3, которая насчитывала 80 миллиардов параметров. Это заявление прозвучало после выпуска Llama 3.1 405B —Meta, крупнейшей на сегодняшний день модели компании, насчитывающей впечатляющие 405 миллиардов параметров. Чтобы удовлетворить растущие потребности будущих проектов ИИ, Zuckerberg подчеркнул важность заблаговременного наращивания необходимой инфраструктурной мощности. Он отметил длительные сроки реализации, связанные с запуском новых проектов, что указывает на упреждающий подход к развитию.

Финансовый директор Meta Susan Li также рассказала о стратегии компании, сообщив, что рассматривается несколько проектов дата-центров для расширения возможностей обучения ИИ. Она отметила, что ожидается рост капитальных расходов в 2025 году за счёт этих инвестиций. Во втором квартале 2024 года капитальные расходы Meta выросли почти на 33 % — до 8,5 млрд долларов, во многом благодаря значительным инвестициям в серверы и дата-центры, что подчёркивает приверженность компании развитию своих инициатив в области ИИ.

Читайте также:Meta запускает ИИ-студию для пользовательских чат-ботов

Читайте также:Meta ожидает роста рекламных доходов во втором квартале, отдавая приоритет ИИ и экономической эффективности

Почему это важно

Растущие затраты на обучение больших языковых моделей остаются серьёзной проблемой в сфере ИИ, поскольку компании стремятся наращивать свои возможности. Для контекста: по данным отчётов, OpenAI тратит около 3 млрд долларов в год на обучение моделей и ещё 4 млрд долларов на аренду серверов у Microsoft.

Финансовый директор Meta Susan Li отметила, что по мере расширения мощностей для обучения генеративного ИИ инфраструктура компании будет проектироваться с учётом гибкости, что позволит эффективно распределять ресурсы между задачами инференса ИИ и основными задачами ранжирования. Вместе с тем она предупредила, что Meta не ожидает существенных поступлений от продуктов генеративного ИИ в краткосрочной перспективе.

Во время отчёта о прибылях Meta также отметила успех своего ориентированного на потребителей ИИ-чатбота, который завоевал значительную популярность в Индии и стал крупнейшим рынком для этого продукта. Этот рост подчёркивает потенциал ИИ-приложений в разных регионах.