Elon Musk frappe un grand coup dans les supercalculateurs spécialisé dans les traitements d'intelligence artificielle. Il n'aura en effet pas fallu beaucoup de temps à l'entrepreneur américain pour lancer - via une rondelette levée de fonds de 6 Md$ - sa start-up xAI et réussir à la fois à concevoir son LLM (Grok) et sortir de terre un supercalculateur servant à l'entrainer. Baptisé Colossus, ce grand système est en effet désormais opérationnel depuis ce week-end pour entrainer la prochaine version du grand modèle de langage de cette jeune pousse, Grok-3. 

Alors que la précédente version Grok-2 tournait sur "seulement" 15 000 accélérateurs H100 Nvidia, Colossus en embarque quant à lui 100 000. "Colossus est le plus puissant système d'entrainement IA au monde", a lancé Elon Musk sur son réseau social X, soulignant au passage qu'il aura fallu 122 jours "du début à la fin" pour monter Colossus. xAI ne compte pas s'arrêter là puisque la société prévoit de doubler les capacités de son supercalculateur dans les prochains mois avec l'ajout de 50 000 accélérateurs H200 toujours signés Nvidia. Elon Musk compte investir entre 3 et 4 Md$ dans les puces du fournisseur pour les infrastructures de xAI mais également de Tesla.

4,9 millions de litres d'eau par jour pour refroidir Colossus

En attendant le lancement de Grok-3 prévu en décembre prochain, xAI n'a pas échappé à une polémique entourant les gigantesques capacités de Colossus dont la puissance maximale de 150 MW nécessite un système de refroidissement consommant 4,9 millions de litres d'eau par jour, puisée dans les ressources de Memphis où le supercalculateur est installé. xAI est cependant loin d'être le seul dans ce cas : il en va de même pour Google et Microsoft pour qui la consommation d'eau est passée de 6,4 millions de m3 en 2022 à 7,8 en 2023.