Why does AI consume so much electricity?

• La croissance exponentielle de l'IA, illustrée par ChatGPT, devrait entraîner une augmentation significative de la demande énergétique, pouvant consommer jusqu'à 25 % de l'électricité américaine d'ici 2030, suscitant des inquiétudes quant à une crise énergétique imminente et déclenchant une « guerre énergétique » mondiale.
• Pour faire face à la consommation énergétique croissante de l'IA, des stratégies telles que l'optimisation des grands modèles et du matériel d'IA pour réduire la consommation d'énergie, ainsi que l'investissement dans de nouvelles sources d'énergie comme la fusion nucléaire, sont poursuivies par les experts de l'industrie et les principaux acteurs technologiques comme Amazon, Google et Altman.
• Malgré les défis posés par la consommation énergétique de l'IA, l'optimisme demeure quant à la capacité de répondre à la demande, grâce aux progrès continus dans les énergies renouvelables, aux mises à niveau des infrastructures et à la collaboration internationale visant à assurer un avenir énergétique durable au cœur de la révolution de l'IA.

Alors que ChatGPT déclenche une nouvelle vague de fièvre pour l'intelligence artificielle (IA), la question sous-jacente de la consommation d'énergie continue d'attirer l'attention.

Le 10 avril de cette année, Rene Haas, PDG du géant des puces Arm, a déclaré publiquement que les grands modèles d'IA comme ChatGPT nécessitent une puissance de calcul importante. On estime que d'ici 2030, les centres de données d'IA consommeront 20 % à 25 % de la demande d'électricité aux États-Unis, soit une augmentation significative par rapport aux 4 % actuels.

Les données publiques montrent que ChatGPT traite actuellement plus de 200 millions de requêtes par jour, consommant jusqu'à 500 000 kilowattheures d'électricité quotidiennement. Cela se traduit par une facture d'électricité annuelle de 200 millions de yuans rien que pour ChatGPT. Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

Cela signifie que la consommation électrique quotidienne de ChatGPT est plus de 17 000 fois supérieure à celle d'un foyer moyen. (L'électricité commerciale aux États-Unis est actuellement d'environ 0,147 $ le kilowattheure, soit 1,06 yuan, ou 530 000 yuans par jour) Voir aussi: Alejandro Estua.

Selon Alex de Vries, dirigeant d'un cabinet de conseil néerlandais, l'industrie de l'IA devrait consommer entre 850 et 1 340 milliards de kilowattheures d'électricité par an d'ici 2027, soit l'équivalent de la consommation électrique annuelle totale d'un pays européen comme la Suède ou les Pays-Bas. Voir aussi: Alejandro Manzo.

Musk prédit que la pénurie d'électricité pourrait survenir dès 2025, déclarant: « L'année prochaine, vous verrez, nous n'aurons pas assez d'électricité pour faire fonctionner toutes les puces. » Voir aussi: Alejandro Hernandez.

Le PDG d'OpenAI, Sam Altman , anticipe également une crise énergétique dans l'industrie de l'IA, suggérant que le développement technologique futur de l'IA dépendra fortement de l'énergie, et que les gens auront besoin de plus de produits photovoltaïques et de stockage d'énergie.

Tout cela indique que l'IA est sur le point de déclencher une nouvelle « guerre énergétique » mondiale. Voir aussi: Alejandro Garza.

Lire aussi: 5 femmes qui changent l'industrie de l'IA

Lire aussi: Quel générateur de voix IA tout le monde utilise-t-il ?

L'IA se heurte à un goulot d'étranglement énergétique

Au cours des 500 derniers jours, ChatGPT a déclenché une augmentation mondiale de la demande de grands modèles d'IA et de puissance de calcul. Voir aussi: Alejandro Guerrero.

Les grands géants mondiaux de la technologie comme Microsoft, Google, Meta et OpenAI se sont précipités pour acquérir des puces d'IA, allant même jusqu'à se lancer dans la fabrication de puces, avec une échelle totale dépassant plusieurs milliers de milliards de dollars.

En substance, l'IA repose fortement sur la technologie informatique et le traitement de l'information, ce qui nécessite à son tour un nombre important de puces GPU, ainsi que des ressources sous-jacentes telles que l'électricité, l'hydroélectricité, l'énergie éolienne et le financement.

Dès 1961, le physicien Rolf Landauer, travaillant chez IBM, a publié un article proposant ce qui est devenu plus tard le « principe de Landauer ».

Cette théorie suggère que lorsque les informations stockées dans un ordinateur subissent des changements irréversibles, elles émettent une petite quantité de chaleur dans l'environnement, la quantité de chaleur émise dépendant de la température de l'ordinateur à ce moment-là – plus la température est élevée, plus la chaleur émise est importante.

Le principe de Landauer relie l'information et l'énergie, plus précisément à la deuxième loi de la thermodynamique. Parce que les opérations de traitement de l'information logiquement irréversibles entraînent l'annihilation de l'information, ce qui conduit à une augmentation de l'entropie dans le monde physique, consommant ainsi de l'énergie.

Depuis sa proposition, ce principe a rencontré un scepticisme considérable. Cependant, au cours de la dernière décennie environ, le « principe de Landauer » a été vérifié expérimentalement.

En 2012, une étude publiée dans Nature a mesuré pour la première fois la quantité infime de chaleur libérée lorsqu'un « bit » de données est supprimé. Des expériences indépendantes ultérieures ont également confirmé le « principe de Landauer ».

Au cours de la dernière décennie, les ordinateurs électroniques modernes ont consommé de l'énergie en calcul des milliards de fois supérieure à la valeur théorique du principe de Landauer. Les scientifiques se sont efforcés de trouver des méthodes de calcul plus efficaces pour réduire les coûts.

Aujourd'hui, avec l'explosion des grands modèles d'IA, il y a effectivement un besoin important de calcul. Par conséquent, l'IA est non seulement limitée par la pénurie de puces, mais aussi par les pénuries d'énergie.

Récemment, lors de la conférence « Bosch Connected World 2024 », Musk a également déclaré qu'il y a un peu plus d'un an, la pénurie concernait les puces, mais l'année prochaine, vous verrez une pénurie d'électricité, incapable de répondre à la demande de toutes les puces.

Li Xiuquan, directeur adjoint du Centre d'intelligence artificielle de l'Institut chinois de l'information scientifique et technologique, a également déclaré: « ces dernières années, l'échelle et la quantité des grands modèles d'IA ont augmenté rapidement, entraînant une augmentation rapide de la demande énergétique. Bien que des problèmes tels que les 'pénuries d'électricité' ne surviennent probablement pas rapidement à court terme, l'augmentation exponentielle de la demande énergétique avec l'avènement de l'ère de l'intelligence à grande échelle ne peut être ignorée. »

La clé de la qualité des grands modèles d'IA réside dans les données, la puissance de calcul et les meilleurs talents, soutenus par le fonctionnement continu de dizaines de milliers de puces jour et nuit.

Plus précisément, le processus de travail de la puissance de calcul des modèles d'IA peut être grossièrement divisé en deux étapes: l'entraînement et l'inférence, et la consommation d'énergie est également impliquée.

Une grande quantité de données textuelles doit être collectée et prétraitée pendant l'entraînement

Ces dernières années, l'échelle et la quantité des grands modèles d'IA ont augmenté rapidement, entraînant une augmentation rapide de la demande énergétique. Bien que des problèmes tels que les « pénuries d'électricité » ne surviennent probablement pas rapidement à court terme, l'augmentation exponentielle de la demande énergétique avec l'avènement de l'ère de l'intelligence à grande échelle ne peut être ignorée.

Li Xiuquan, directeur adjoint du Centre d'intelligence artificielle de l'Institut chinois de l'information scientifique et technologique

Pendant la phase d'entraînement, une grande quantité de données textuelles doit être collectée et prétraitée comme données d'entrée. Ensuite, les paramètres du modèle sont initialisés dans une architecture de modèle appropriée, les données d'entrée sont traitées et des tentatives sont faites pour générer une sortie. Enfin, les paramètres sont ajustés à plusieurs reprises en fonction de la différence entre la sortie et la sortie attendue jusqu'à ce que la performance du modèle ne s'améliore plus de manière significative.

De l'entraînement de GPT-2 avec 1,5 milliard de paramètres à GPT-3 avec 175 milliards de paramètres, la consommation d'énergie d'entraînement derrière les modèles d'OpenAI est stupéfiante. Les informations publiques indiquent qu'OpenAI consomme 128,7 kWh par entraînement, ce qui équivaut à 32 km parcourus par 3 000 Tesla simultanément.

Selon la société de recherche New Street Research, Google seul a besoin d'environ 400 000 serveurs pour l'IA, consommant 62,4 GWh par jour et 22,8 TWh par an.

Pendant la phase d'inférence, l'IA charge d'abord les paramètres du modèle entraîné, prétraite les données textuelles à inférer, puis permet au modèle de générer une sortie basée sur les modèles de langage appris. Google affirme qu'entre 2019 et 2021, 60 % de la consommation d'énergie liée à l'IA provient de l'inférence.

Selon l'estimation d'Alex de Vries, ChatGPT consomme plus de 500 000 kWh par jour pour répondre à environ 200 millions de requêtes, ce qui se traduit par une facture d'électricité annuelle de 200 millions de yuans, soit 1,7 fois la consommation électrique quotidienne moyenne de chaque foyer américain.

Un rapport de SemiAnalysis indique que la consommation d'énergie pour la recherche de problèmes à l'aide de grands modèles est dix fois supérieure à celle des recherches par mots-clés classiques. Prenant Google comme exemple, les recherches Google standard utilisent 0,3 Wh d'électricité, tandis que chaque interaction avec les grands modèles consomme 3 Wh. Si les utilisateurs utilisaient des outils d'IA pour chaque recherche Google, cela nécessiterait environ 29,2 TWh d'électricité par an, soit environ 79 millions de kWh par jour. Cela équivaut à fournir de l'énergie en continu au plus grand gratte-ciel du monde, le Burj Khalifa à Dubaï, pendant plus de 300 ans.

De plus, selon le rapport Stanford Artificial Intelligence Index Report 2023, chaque recherche IA consomme environ 8,9 Wh d'électricité. Par rapport aux recherches Google ordinaires, la consommation d'énergie par recherche IA est près de 30 fois supérieure. Pour un modèle pouvant atteindre 176 milliards de paramètres, la seule phase d'entraînement consomme 433 000 kWh, soit l'équivalent de la consommation électrique annuelle de 117 foyers américains.

Il convient de noter que dans le cadre de la loi d'échelle (Scaling Law), à mesure que l'échelle des paramètres continue d'augmenter, les performances des grands modèles s'améliorent également, accompagnées d'une consommation d'énergie plus élevée.

Par conséquent, la question énergétique est devenue un « carcan » critique pour le développement continu de la technologie de l'IA.

Quiz rapide

Combien de serveurs Google nécessite-t-il pour l'IA ?

A. 400 000

B. 300 000

C. 200 000

D. 100 000

La bonne réponse se trouve en bas de l'article.

C'est encore loin d'être catastrophique

Jensen Huang, malgré ses préoccupations concernant l'approvisionnement énergétique, offre une vision plus optimiste: au cours de la dernière décennie, le calcul de l'IA a été multiplié par un million, mais ses coûts, l'espace ou la consommation d'énergie n'ont pas augmenté dans la même ampleur.

Selon les perspectives annuelles à long terme de l'Administration américaine de l'information sur l'énergie (EIA), le taux de croissance annuel de la demande d'électricité aux États-Unis est actuellement inférieur à 1 %. Cependant, John Ketchum, PDG de NextEra Energy, estime que sous l'influence de la technologie de l'IA, ce taux de croissance annuel de la demande d'électricité s'accélérera pour atteindre environ 1,8 %.

Un rapport du Boston Consulting Group montre qu'en 2022, la consommation d'électricité des centres de données représentait 2,5 % de la consommation totale d'électricité aux États-Unis (environ 130 térawattheures), et devrait doubler d'ici 2030 pour atteindre 7,5 % (environ 390 térawattheures). Cela équivaut à la consommation d'électricité d'environ 40 millions de foyers américains, soit un tiers de tous les foyers américains. Le groupe prévoit également que l'IA générative représentera au moins 1 % de la nouvelle demande d'électricité aux États-Unis.

Cela signifie que même si la consommation d'électricité des centres de données et de l'IA est importante, elle est loin d'être catastrophique.

En termes de coût, un rapport de l'Agence internationale pour les énergies renouvelables a souligné qu'au cours de la dernière décennie, le coût moyen de l'électricité des projets éoliens et solaires mondiaux a diminué cumulativement de plus de 60 % et 80 %, respectivement. Des initiés de l'industrie ont également mentionné: « Le coût global du photovoltaïque est similaire à celui de l'énergie thermique, tandis que l'énergie éolienne coûte la moitié dans certaines régions par rapport à l'énergie thermique. »

Comment allons-nous faire face à l'augmentation prochaine de la demande énergétique ?

Selon les résumés d'experts de l'industrie par le Titanium Media App, il existe deux solutions principales pour aborder la consommation d'énergie de l'IA: l'une consiste à réduire la consommation d'énergie par l'optimisation des grands modèles ou du matériel d'IA, et l'autre est de trouver de nouvelles sources d'énergie, telles que la fusion nucléaire, les ressources de fission, etc., pour répondre aux besoins énergétiques de l'IA.

En termes d'optimisation matérielle, pour les modèles d'IA de grande échelle de niveau billion avec une consommation d'énergie élevée, la consommation d'énergie peut être réduite en compressant la taille et la complexité des tokens du modèle par l'optimisation des algorithmes et des modèles. En même temps, les entreprises peuvent continuer à développer et mettre à jour du matériel d'IA à faible consommation d'énergie, comme le dernier NVIDIA B200, les PC IA ou les terminaux téléphoniques IA. De plus, en optimisant l'efficacité énergétique des centres de données et en améliorant l'efficacité de l'utilisation de l'énergie, la consommation d'énergie peut être réduite.

En réponse à cela, Bai Wenxi, vice-président de la China Enterprise Capital Alliance, a déclaré: « à l'avenir, il est nécessaire de procéder à des innovations technologiques et à des mises à niveau des équipements pour améliorer encore l'efficacité de la production d'électricité, augmenter la capacité et la stabilité de transmission du réseau, optimiser l'allocation des ressources énergétiques, renforcer la flexibilité de l'approvisionnement en électricité, promouvoir les systèmes énergétiques distribués et réduire les pertes de transmission d'énergie pour faire face aux défis de la demande énergétique découlant du développement de la

puissance de calcul.

»

Qu Haifeng, directeur adjoint du comité d'experts du groupe de travail sur les centres de données en Chine (CDCC), estime que les industries concernées devraient se concentrer sur l'amélioration de l'efficacité énergétique des centres de données plutôt que de supprimer leur échelle. Les centres de données n'ont pas besoin de réduire leur consommation d'énergie, mais plutôt d'améliorer la qualité de leur consommation d'énergie.

Quant au développement de l'énergie de fusion nucléaire, en raison de ses ressources abondantes en matières premières, de sa libération d'énergie importante, de sa sécurité, de sa propreté et de ses avantages environnementaux, la fusion nucléaire contrôlée peut essentiellement répondre aux diverses exigences d'une source d'énergie ultime idéale pour l'avenir.

Il existe actuellement trois principales sources d'énergie de fusion: l'énergie cosmique, comme la lumière et la chaleur solaires; l'explosion de bombes à hydrogène (fusion nucléaire incontrôlée); le soleil artificiel (dispositif de fusion nucléaire contrôlée).

Selon les statistiques, il y a actuellement plus de 50 pays dans le monde qui mènent des recherches et la construction de plus de 140 dispositifs de fusion, et une série de percées technologiques ont été réalisées. L'AIEA prévoit que la première centrale électrique de fusion au monde sera construite et mise en service d'ici 2050.

Cette production d'énergie de fusion atténuera considérablement la pénurie énergétique mondiale causée par la demande de grands modèles d'IA.

En avril 2023, Altman a pris des mesures préventives en investissant personnellement 375 millions de dollars dans la start-up de fusion Helion Energy et en devenant président de l'entreprise. De plus, Altman a fusionné AltC, sa société d'investissement, avec la start-up de fusion Oklo en juillet dernier, obtenant une introduction en bourse évaluée à environ 850 millions de dollars, la capitalisation boursière la plus récente d'AltC dépassant 40 milliards de dollars.

En plus de l'investissement massif d'Altman dans les entreprises de fusion, des géants technologiques comme Amazon et Google achètent directement de l'énergie propre.

Selon les données de Bloomberg, rien qu'en 2023, Amazon a acheté 8,8 gigawatts (GW) d'énergie propre, marquant la quatrième année consécutive où elle est devenue le plus grand acheteur d'énergie propre au monde. Meta (3 GW) et Google (1 GW) suivent de près.

Amazon déclare que plus de 90 % de l'électricité de ses centres de données provient de la production d'énergie propre et prévoit d'atteindre 100 % d'utilisation d'énergie verte d'ici 2025.

La compétition entre la Chine et les États-Unis

En fait, en prenant les États-Unis comme exemple, la croissance de multiples industries telles que l'énergie propre, l'IA, les centres de données, les véhicules électriques et l'exploitation minière a relancé la demande d'électricité stagnante aux États-Unis. Cependant, même salué comme la « plus grande machine » du monde, le réseau électrique américain semble incapable de faire face à ce changement soudain.

Les analystes soulignent que 70 % des installations d'accès et de transmission du réseau américain vieillissent, et que certaines zones ont des lignes de transmission de réseau insuffisantes. Par conséquent, le réseau électrique américain a besoin de mises à niveau massives, et si aucune mesure n'est prise, les États-Unis seront confrontés à un déficit d'approvisionnement intérieur insurmontable d'ici 2030.

Par rapport aux États-Unis, la Chine est plus optimiste quant à sa demande énergétique. Actuellement, les produits éoliens et photovoltaïques de la Chine ont été exportés vers plus de 200 pays et régions, avec des exportations cumulées dépassant respectivement 33,4 milliards de dollars et 245,3 milliards de dollars.

Alors que l'IA connaît une croissance explosive, la compétition entre la Chine et les États-Unis dans l'industrie de l'IA est passée d'une compétition sur la technologie des grands modèles à une bataille multidimensionnelle impliquant la puissance de calcul, l'énergie, la main-d'œuvre, etc.

Avec le déploiement potentiel de l'énergie de fusion nucléaire d'ici 2050, l'humanité espère mettre fin au problème difficile de la consommation d'énergie de l'IA et entrer dans une ère de production d'énergie illimitée.

La bonne réponse est A.