La démesure est de retour dans l’IT. Après l’excitation sur le big data, le cloud, l’IA concentre « une exubérance obsessionnelle » en référence à la phrase de l’ancien président de la FED, Alan Greenspan. Dernier exemple en date, Microsoft et OpenAI seraient selon The Information (sur abonnement) en discussion pour créer un supercalculateur hors norme pour l’IA avec un budget stratosphériques 100 milliards de dollars. Au sein de cette enveloppe, une grande partie sera consacrée à l’achat d’accélérateurs IA.
Stargate fait partie d’un plan entre Microsoft et OpenAI comprenant plusieurs phases. En janvier 2023, la firme de Redmond annonçait un investissement de 10 milliards de dollars dans la start-up. Elle avait par la même occasion accentué ses dépenses en matière IT dans Azure. Avec le supercalculateur, les liens entre les deux sociétés rentreraient dans une nouvelle phase de collaboration. Le lancement de ce système est prévu en 2026 et pourrait consommer 5 gigawatt une fois terminé.
5 gigawatts de consommation électrique, un défi à relever
Compte tenu du calendrier, il est difficile de dire quels accélérateurs Stargate utilisera. Microsoft se sert actuellement des cartes Nvidia, AMD et ses propres accélérateurs Maia 100 pour diverses charges de travail, notamment les modèles GPT-4 et GPT-3.5. On prête également à OpenAI de vouloir développer ses propres puces IA, là aussi avec des investissements hors normes.
S'il était construit aujourd'hui, un supercalculateur de cinq gigawatts pourrait accueillir plus de 40 000 systèmes de rack NVL72 DGX GB200 de Nvidia contenant 2,88 millions de GPU Blackwell capables de réaliser 14 400 exaFLOPS de performances FP8 denses. Un des grands défis pour Microsoft est d’arriver à trouver suffisamment d’énergie décarbonée pour un tel système et répondre ainsi à la stratégie neutre carbone du fournisseur. La semaine dernière AWS a acquis le datacenter à base d’énergie nucléaire Cumulus Data pour 650 M$. Il devrait ainsi accéder à terme à une capacité énergétique de 2,5 gigawatts.