Après l’échec du métavers, Mark Zuckerberg, CEO de Meta entend bien ne pas louper le coche de l’intelligence artificielle et en particulier de l’IA générale (AIG). Celle-ci se définit comme étant capable de raisonner à la façon d’un humain et effectuer une vaste gamme de tâches différentes (multi-modale). Pour y arriver, le dirigeant a indiqué dans une vidéo sa volonté de créer une infrastructure IT dédiée et d’acquérir pour cela 350 000 accélérateurs GPU H100 de Nvidia.
Ces cartes présentées en 2021 sont devenues incontournables pour les sociétés souhaitant travailler sur l’IA. Successeur de l’accélérateur A100, elle se distingue par l’utilisation de composants mémoire HBM3, une refonte des noyaux tensors, la 4eme génération de NVLink. Sans oublier l’innovation la plus importante : le moteur Transformer. La majorité des hyperscalers cloud (Google Cloud, Microsoft, …) ont annoncé un partenariat avec Nvidia pour s’équiper et s’assurer de l’approvisionnement en H100. D’autres regardent déjà les évolutions de Nvidia avec les accélérateurs GH200.
Une dépense minimum de 9 Md$
Toujours est-il que l’investissement annoncé par Mark Zuckerberg est massif, même s'il n'a pas donné d'informations sur le volume de H100 déjà acheté. Le prix des cartes H100 varient entre 25 et 30 000 dollars. Selon des analystes, même en payant le prix le plus bas, Meta dépenserait 9 milliards de dollars. Le CEO a précisé dans son interview, « d'ici la fin de l'année, nous disposerons d'environ 350 000 Nvidia H100, ou d'environ 600 000 équivalents H100 de calcul si l'on inclut d'autres GPU ». Cela signifie qu’en parallèle de l’acquisition des H100 de Nvidia, Meta va acheter d’autres accélérateurs comme les MI300 X d’AMD.
Avec cet investissement, Mark Zuckerberg estime que l’AIG pourrait à terme alimenter un large éventail de services et de terminaux, notamment des assistants plus avancés ou des casques de réalité augmentée. Les accélérateurs GPU servent déjà à l’entraînement de Llama 3, la prochaine version du LLM open source de Meta.