Google recientemente lanzó su último chip de IA, el TPU v5e, y presentó la "Supercomputadora A3" impulsada por GPUs NVIDIA H100. Las instancias de VM A3 se lanzarán el próximo mes, impulsando un salto significativo en la infraestructura de IA. Google también ha revelado una asociación ampliada con NVIDIA, líder en chips de IA.
Rendimiento de entrenamiento 2x, aumento de inferencia 2.5x y reducción de costos del 50%
Google busca liderar el entrenamiento de IA con su último TPU de quinta generación. Aquí hay algunos aspectos destacados:
El TPU v5e fue diseñado para mejorar el rendimiento de entrenamiento, inferencia y rentabilidad. Su rendimiento de entrenamiento se duplica y el rendimiento de inferencia mejora 2.5 veces en comparación con el TPU v4.
El TPU v5e ofrece estos avances a menos de la mitad del costo, lo que permite un entrenamiento y despliegue rentables de modelos de IA más grandes. Además, Google está enfocándose en la escalabilidad, incluyendo configuraciones que admiten hasta 256 chips y potencia de cálculo INT8 que alcanza los 100 PetaOps.
Las configuraciones de máquinas virtuales del TPU v5e se adaptan a diversas necesidades de los usuarios. Se incluye una nueva capacidad llamada "Multislice". Multislice es un servicio para usuarios que requieren aún más potencia de cálculo al distribuir los cálculos del modelo entre decenas de miles de chips TPU.
Google también se está asociando con NVIDIA para lanzar la Supercomputadora Virtual A3. La máquina está diseñada para abordar las crecientes demandas computacionales impulsadas por la inteligencia artificial generativa y los grandes modelos de lenguaje. Con tanto avance, la siguiente progresión es predecible: Google Cloud ha integrado 20 modelos de IA adicionales, llevando el total de modelos compatibles a 100. Este nuevo conjunto de IA brinda a los clientes la flexibilidad de elegir entre una variedad de modelos para satisfacer sus necesidades operativas.