• Meta, la société mère de Facebook, a annoncé son intention d’augmenter considérablement la puissance de calcul pour l’entraînement de son modèle de langage de nouvelle génération, Llama 4.
  • Zuckerberg affirme que Llama 4 nécessite dix fois plus de ressources que Llama 3 pour rester compétitif en IA. Cette décision stratégique vise à garantir que Meta reste compétitif dans le domaine en évolution rapide de l’IA.

NOTRE AVIS
La hausse des coûts de formation des grands modèles de langage pose des défis pour Meta et OpenAI. Si les investissements dans des infrastructures flexibles sont cruciaux, les revenus à court terme de l’IA générative pourraient être limités. Le succès du chatbot IA de Meta en Inde démontre le potentiel de l’IA dans les marchés émergents, soulignant la nécessité d’une prospective stratégique à mesure que le paysage concurrentiel évolue.
-Lilith Chen, journaliste BTW

Ce qui s’est passé

Lors d’un récent appel sur les résultats,Mark Zuckerberga révélé que les besoins en formation de Llama 4 devraient être considérablement plus élevés que ceux de Llama 3, qui comportait 80 milliards de paramètres. Cette annonce fait suite au lancement de Llama 3.1 405B, le plus grand modèle deMetaà ce jour, doté de 405 milliards de paramètres impressionnants. Pour répondre aux demandes croissantes des futurs projets d’IA, Zuckerberg a souligné l’importance de construire la capacité d’infrastructure nécessaire à l’avance. Il a mis en évidence les longs délais associés à la mise en place de nouveaux projets, indiquant une approche proactive du développement.

La directrice financière de Meta, Susan Li, a également partagé des informations sur la stratégie de l’entreprise, indiquant que divers projets de centres de données sont à l’étude pour améliorer ses capacités de formation en IA. Elle a noté que ces investissements devraient augmenter les dépenses en capital en 2025. Au deuxième trimestre 2024, les dépenses en capital de Meta ont augmenté de près de 33 % pour atteindre 8,5 milliards de dollars, principalement en raison d’investissements importants dans les serveurs et les centres de données, soulignant l’engagement de l’entreprise à faire progresser ses initiatives en matière d’IA.

À lire aussi:Meta lance un studio IA pour les chatbots personnalisés

À lire aussi:Meta s’attend à une croissance des revenus publicitaires au deuxième trimestre, donne la priorité à l’IA et aux coûts

Pourquoi c’est important

L’escalade des coûts de formation des grands modèles de langage est une préoccupation majeure dans le secteur de l’IA, alors que les entreprises s’efforcent d’améliorer leurs capacités. Pour le contexte, des rapports indiquent qu’OpenAI dépense environ 3 milliards de dollars par an pour la formation des modèles et 4 milliards de dollars supplémentaires pour la location de serveurs auprès de Microsoft.

Susan Li, directrice financière de Meta, a noté qu’à mesure que l’entreprise développe sa capacité de formation en IA générative, son infrastructure sera conçue pour la flexibilité, permettant une allocation efficace des ressources pour les tâches d’inférence IA et de classement principal. Elle a toutefois averti que Meta ne s’attend pas à des contributions substantielles des produits d’IA générative à court terme.

Lors de l’appel sur les résultats, Meta a également souligné le succès de son chatbot IA grand public, qui a connu une forte adoption en Inde, ce qui en fait le plus grand marché pour ce produit. Cette croissance souligne le potentiel des applications d’IA dans diverses régions.