Pour soutenir l’essor de l’IA, Hewlett Packard Enterprise et Dell Technologies ont présenté des serveurs destinés à l'entraînement de grands modèles de langage (LLM). En particulier, HPE va livrer un serveur ProLiant Compute XD685 basé sur les derniers processeurs Epyc de 5e génération d'AMD et les accélérateurs Instinct MI325X. Le XD685 est taillé pour le traitement du langage naturel, les LLM et la formation à l'IA multimodale. Son châssis modulaire 5U est compatible avec de nombreuses combinaisons de CPU et de GPU, et il inclut un refroidissement par air et par liquide direct. Le ProLiant Compute XD685 supporte jusqu'à huit accélérateurs Instinct MI325X avec une bande passante mémoire de 6 Tbps. Le GPU Instinct est doté d'une mémoire partagée HBM3E, ce qui permet de traiter toutes les cartes comme un seul grand pool de mémoire. Il faut donc moins de cartes pour atteindre le même niveau de performance, ce qui réduit le coût total de possession. L’autre atout du XD685 est sa suite de services, fournie par HPE Services, pour la mise en place de grands clusters d'intelligence artificielle. Ils comprennent la configuration, la validation et l'assistance aux tests afin de réduire les délais de déploiement. La sécurité est assurée par la technologie maison Integrated Lights-Out (iLO), qui offre une sécurité de niveau production intégrée dans le silicium Le ProLiant Compute XD685 est disponible à la commande et sera généralement disponible au premier trimestre 2025.

 Le Proliant XD685 est taillé pour le traitement du langage naturel, les LLM et la formation à l'IA multimodale. (Crédit HPE)

Plusieurs produits de calcul et de stockage pour Dell

De son côté, Dell Technologies continue d'élargir son vaste portefeuille de solutions d'IA générative avec une série de produits sous l'égide de Dell AI Factory. En particulier, le fournisseur enrichit sa gamme avec plusieurs serveurs PowerEdge, à commencer par le XE9712 qui offre une accélération dense et performante pour l'entraînement des LLM et l'inférence en temps réel des déploiements d'IA à grande échelle. Le XE9712 peut accueillir jusqu'à 36 CPU Grace et 72 GPU Blackwell  (GB200 NVL72). Les accélérateurs sont connectés via le protocole NVLink, qui agit comme un seul GPU pour une inférence LLM en temps réel jusqu'à 30 fois plus rapide avec des trillions de paramètres.

Le texan a aussi présenté le PowerEdge M7725, adapté au calcul dense de haute performance, idéal pour la recherche, les administrations gouvernementales, la fintech et l'enseignement supérieur, selon Dell. Le M7725 peut évoluer entre 24 000 et 27 000 cœurs par rack, avec 64 ou 72 nœuds à deux sockets sur des processeurs AMD Epyc de 5e génération. Il inclut un refroidissement liquide direct et par air. Outre ce serveur de calcul, Dell propose un stockage scale-out et une gestion des données par le biais de ses dispositifs de ses baies PowerScale afin d'améliorer les performances des applications d’IA et de simplifier la gestion des données globales. Le dernier PowerScale dispose d’un accès plus rapide aux métadonnées et de la découverte Data Lakehouse, tandis que les SSD de 61 To augmentent la capacité tout en réduisant de moitié l'empreinte carbone du stockage dans le centre de données. PowerScale s’enrichit également de capacités InfiniBand et de la prise en charge d'adaptateurs Ethernet 200GbE qui offrent un débit jusqu'à 63 % plus rapide. Pour monter ce hardware, Dell a présenté l’Integrated Rack 7000 (IR7000), qui répond aux demandes de calcul accélérées avec une plus grande densité, une gestion de l'alimentation plus durable et des technologies de refroidissement avancées. Il est basé sur les normes de l'Open Compute Project (OCP). Le rack IR7000 a été conçu pour le refroidissement liquide et il est capable de refroidir des déploiements futurs allant jusqu'à 480KW. Selon Dell, l’IR7000 peut capter près de 100 % de la chaleur produite.