Google недавно выпустил свой новейший чип для ИИ — TPU v5e — и представил «A3 Supercomputer» на базе графических процессоров NVIDIA H100. Экземпляры A3 VM поступят в следующем месяце, что станет значительным скачком в инфраструктуре ИИ. Google также объявил о расширении партнёрства с лидером в области чипов для ИИ — компанией NVIDIA.
Производительность обучения выросла в 2 раза, инференс — в 2,5 раза, а стоимость снизилась на 50%
Google стремится стать лидером в обучении ИИ с помощью своего новейшего TPU пятого поколения. Вот несколько примечательных моментов:
TPU v5e был разработан для повышения производительности обучения и инференса, а также экономической эффективности. По сравнению с TPU v4 производительность обучения удвоилась, а производительность инференса выросла в 2,5 раза.
TPU v5e предлагает эти улучшения менее чем за половину стоимости, что обеспечивает экономически эффективное обучение и развёртывание более крупных моделей ИИ. Кроме того, Google уделяет внимание масштабируемости, включая конфигурации до 256 чипов и вычислительную мощность INT8 до 100 петаопераций в секунду.
Конфигурации виртуальных машин TPU v5e предназначены для удовлетворения различных потребностей пользователей. В состав релиза вошла новая возможность под названием «Multislice». Multislice — это сервис для пользователей, которым требуется ещё больше вычислительной мощности: он распределяет вычисления модели между десятками тысяч чипов TPU.
Google также сотрудничает с NVIDIA в запуске виртуального суперкомпьютера A3. Машина предназначена для удовлетворения растущих вычислительных потребностей, вызванных генеративным искусственным интеллектом и большими языковыми моделями. При таком прогрессе следующий шаг предсказуем: Google Cloud интегрировал ещё 20 моделей ИИ, доведя общее число поддерживаемых моделей до 100. Этот новый набор ИИ даёт клиентам возможность выбирать из множества моделей в соответствии со своими операционными потребностями.