Alors que les premiers clients attendent la livraison de leur serveur équipé des accélérateurs B200 (Blackwell) de Nvidia, des médias chinois ont levé le voile sur la prochaine plateforme GB300 (combinant des CPU Grace et des GPU Blackwell). Selon toute logique, elle devrait être officiellement annoncée à la GTC, l’évènement annuel de Nvidia prévu en mars 2025 à San Jose.
Le site UDN ont déniché des éléments sur le prochain serveur GB300 dédié à l’IA. Il sera équipé de l’accélérateur B300 (Blackwell), épaulé par 288 Go de mémoire HBM3e (contre seulement 192 Go aujourd’hui) qui passe à une architecture 12 couches contre 8 précédemment. La puce devrait être confectionnée avec le même processus de gravure de 4nm de TSMC utilisé pour les B100 et B200.
Très gourmand en énergie
Toujours selon le média chinois, la consommation augmente de 200 watts avec un TDP passant à 1 400 Watt pour le GB300 et 1 200 Watt pour le B300 HGX respectivement (contre 1 200 W et 1 000 W pour le GB200 et le B200). Une consommation qui nécessitera un refroidissement liquide direct pour les serveurs et un travail pour les hyperscalers afin d’optimiser les armoires pouvant accueillir ces équipements. Sur la partie réseau, la bande passante devrait passer à 1,6 Tbit/s contre 800 Gbit/s en évoluant de ConnectX7 à ConnectX8.
Avec ces évolutions, la performance en précision FP4 affichera 50 % de gain par rapport au GB200. Une augmentation attendue pour les charges de travail d’inférence qui nécessitent un calcul plus rapide, un mouvement de données réduit et une consommation d'énergie plus faible. Il reste encore plusieurs inconnues sur la prochaine plateforme GB300 de Nvidia. Quel sera son coût ? Le site UDN souligne que le composant VRM (voltage regulator module) qui gère la tension pour alimenter le SoC présent dans les serveurs affiche un prix de production de 20 à 25 000 dollars (une armoire NVL72 AI en comprend 300 soit entre 7 et 7,5 millions de dollars). L’autre interrogation est la disponibilité des produits. Les B200 et GB200 ne sont pas encore entrés en pic de production et Nvidia a dû faire face à des retards. Il faudra peut-être attendre la keynote du CEO de Nvidia Jensen Huang au CES de Las Vegas début janvier pour avoir des débuts de réponses.