Résumé

  • COREWEAVE et Parallel Works ont déployé un environnement géré de calcul dédié à l’IA pour le programme de recherche NODES de la DARPA, à l’aide de systèmes NVIDIA H100
  • Chaque équipe de recherche bénéficie d’une capacité de calcul garantie et peut utiliser des ressources partagées supplémentaires lorsqu’elles sont disponibles

Les faits

COREWEAVE et Parallel Works ont déployé un environnement géré dédié à l’IA et au calcul haute performance pour le programme Network of Optimal Dynamic Energy Signatures, ou NODES, de la DARPA.

Les chercheurs accèdent au système via la plateforme ACTIVATE de Parallel Works, qui gère l’authentification, les comptes utilisateurs, le provisionnement, l’ordonnancement et les rapports d’utilisation. COREWEAVE fournit les ressources sous-jacentes de calcul, de stockage et de réseau, notamment des systèmes NVIDIA HGX H100 et des connexions InfiniBand à haut débit.

La capacité est répartie entre les équipes de recherche de NODES. Chaque équipe reçoit une allocation garantie et peut également utiliser la capacité partagée lorsqu’elle est disponible. Les entreprises fournissent aussi une assistance technique, ce qui évite à chaque équipe de devoir créer et gérer elle-même un environnement cloud distinct.

NODES développe des outils d’apprentissage profond pour analyser des séquences protéiques et prédire des fonctions biologiques. La DARPA permet aux chercheurs d’utiliser leurs propres ressources de calcul, mais indique que les produits finaux et les démonstrations de capacités doivent être exécutés sur des systèmes gouvernementaux de calcul haute performance. Le nouvel environnement cloud soutient le programme de recherche; il ne montre pas que NODES a atteint ses objectifs scientifiques.

L’analyse

Les équipes de recherche n’ont pas seulement besoin de GPU; elles ont besoin d’un moyen pratique d’y accéder. Dans ce cas, Parallel Works gère les comptes, les accès et l’ordonnancement, tandis que COREWEAVE fournit la plateforme de calcul. Les chercheurs de NODES devraient ainsi avoir moins d’infrastructure à mettre en place et à gérer avant de pouvoir commencer leurs travaux.

Le mode de partage de la capacité aura son importance. Chaque équipe dispose d’une allocation garantie, avec une capacité supplémentaire accessible dans une réserve commune lorsqu’elle est disponible. Les chercheurs disposent ainsi d’une base prévisible pour planifier leurs travaux, tout en faisant un meilleur usage des ressources inutilisées. Reste à savoir dans quelle mesure ce dispositif tiendra lorsque plusieurs équipes auront besoin de davantage de puissance de calcul en même temps.

Pour les lecteurs de BTW, il s’agit d’un exemple utile d’infrastructure d’IA fournie sous la forme d’un service géré, plutôt que simplement louée comme du matériel. Sa valeur apparaîtra plus clairement si les chercheurs peuvent accéder rapidement au système, exécuter leurs travaux sans longues attentes et consacrer moins de temps à gérer l’environnement de calcul lui-même.

À surveiller

Il faudra surveiller la rapidité avec laquelle les équipes de recherche sont intégrées à la plateforme et la manière dont la capacité partagée se comporte à mesure que la demande augmente. Des rapports sur les temps d’attente, l’utilisation des ressources, les tâches ayant échoué ou l’assistance technique montreraient si, en pratique, les équipes de NODES bénéficient d’un accès prévisible.