Le cours de l’action d’Oracle a chuté de plus de 4% en raison de l’article de The Information concernant la fin des discussions entre la firme de Larry Ellison et xAI d’Elon Musk sur l’extension d’un contrat d’un montant de 10 Md$. Le même média avait dévoilé ses discussions en mai dernier pour louer des serveurs IA dans le cloud d’Oracle.
xAI a besoin de beaucoup de ressources de calcul pour entraîner son LLM Grok. Il s’est donc tourné vers Oracle pour utiliser des serveurs à base de GPU Nvidia sur OCI. En décembre dernier, Larry Ellison expliquait aux analystes financiers « nous avons suffisamment de GPU Nvidia pour la société d’Elon Musk xAI pour publier le première version de son LLM appelé Grok ». Mais il était pragmatique en observant « il y a une ruée vers l’or vers la construction de plus grand LLM au monde ».
Pour aller plus vite, Musk crée sa propre infrastructure
Dans un message sur X, Elon Musk a apporté quelques précisions sur l’article de The Information. « xAI a passé un contrat avec Oracle pour 24k H100 et Grok 2 s'est entraîné sur ces derniers. Grok 2 fait l'objet d'une mise au point et de corrections de bogues. Il sera probablement prêt le mois prochain », explique le milliardaire. Mais pour des questions de timing, il souhaite aller plus vite et a donc décidé de construire lui-même « un système de 100K H100 afin de réduire les délais d’exécution. L’objectif est de commencer la formation dans le courant du mois. Il s’agira du cluster d’entrainement le plus puissant du monde, et de loin ». Pour se justifier, il précise « lorsque notre destin dépend du fait d'être de loin le plus rapide, nous devons avoir nos propres mains sur le volant, plutôt que d’être derrière le conducteur ». Cette course contre la montre a obligé Elon Musk à réaffecter des serveurs à base de H100 dévolus à Tesla pour le projet de xAI.
En dehors de ce supercalculateur basé à Memphis, xAI travaille aussi sur la création d’un cluster toujours au même endroit doté de 300 000 B200 de Nvidia. Pour cela, il s’appuie sur Dell et Supermicro. Dans un tweet, Michael Dell a indiqué, « nous construisons une IA factory avec Nvidia pour alimenter Grok de xAI ». Elon Musk a ajouté dans un tweet « pour être précis, Dell assemble la moitié des racks qui vont dans le supercalculateur que xAI est en train de construire ». Supermicro apportera son expertise dans le domaine du liquid cooling impératif pour faire tourner les serveurs IA.