L'entraînement des modèles d'IA : un gouffre financier

Si l’IA est un cauchemar environnemental pour la consommation énergétique, elle s’avère aussi particulièrement coûteuse sur le plan financier. Les investissements en infrastructure (serveurs, stockage, GPU,…) et la formation des modèles d’IA font vite grimper la facture comme l’indique Dario Amodei, CEO de Cohere dans le podcast Good Company, « pour l'instant, c'est 100 millions. Il y a des modèles en formation aujourd'hui qui coûtent plutôt un milliard de dollars ». Il ajoute, « je pense que si nous atteindrons dix ou cent milliards en 2025, 2026 et peut-être 2027 ».

Pour lui, le prix du matériel est un facteur de coût important pour la formation de l’IA. En 2023, il a été rapporté que ChatGPT nécessitait plus de 30 000 GPU, et Sam Altman a confirmé que ChatGPT-4 avait coûté 100 millions de dollars à former. L'année dernière, plus de 3,8 millions de GPU ont été livrés aux datacenters. Le dernier accélérateur B200 de Nvidia coûtant entre 30 000 et 40 000 dollars HT, on peut supposer que l'estimation de Dario Amodei d'un milliard de dollars est en bonne voie pour 2024. Sans parler des 300 000 B200 qu’Elon Musk souhaite acquérir pour entraîner Grok avec son supercalculateur.

Le risque d’une bulle financière sur l’IA

Un autre point de vue montre le caractère dispendieux de l’IA. David Cahn, analyste pour la société de capital-risque Sequoia Capital a écrit un billet sur « l’IA une question à 600 milliards de dollars » en estimant que le fossé entre les investissements de l’écosystème et les revenus générés par l’IA se creuse. Pour lui, avec l’ensemble des dépenses, il faudrait aujourd’hui que les acteurs génèrent 600 milliards de dollars de revenus par an. Un objectif difficilement réalisable selon l’analyste qui souligne, « en supposant que Google, Microsoft, Apple et Meta génèrent chacun 10 milliards de dollars par an grâce à l'IA et que d'autres entreprises comme Oracle, ByteDance, Alibaba, Tencent, X et Tesla génèrent 5 milliards de dollars chacune, il reste un écart de 500 milliards de dollars ».

La position dominante de Nvidia sur la fourniture d’accélérateurs pour l’IA constitue un frein à un marché plus équilibré. Dépendance sur l’approvisionnement, la fixation des prix sont autant de comportements qui commencent à être scrutés par les autorités de la concurrence (en France notamment), mais aussi par la Commission européenne. Magrethe Vestager s’est récemment inquiétée de « l’énorme goulet d’étranglement » que constitue l’approvisionnement des puces par Nvidia. L’ensemble de ces facteurs font craindre à David Cahn, une bulle financière autour de l’IA. Si « la frénésie spéculative fait partie de la technologie », l’analyste s’inquiète de « l’illusion que nous allons tous devenir riches rapidement, parce que l'IAG (intelligence artificielle générale) arrive demain, et que nous devons tous stocker la seule ressource précieuse, à savoir les GPU ».

Un entraînement en voie d'optimisation

Dans la course au dépenses, les acteurs travaillent d’arrache-pied pour améliorer l’entraînement des modèles et réduire ainsi le temps nécessaire à la formation et donc de facto consommer moins de ressources. Parmi eux, il y a Deepmind, filiale de Google qui vient de dévoiler la méthode JEST (Joint Example Selection). Les méthodes d’entraînement habituelles se concentrent sur des points de données individuels pour la formation et l'apprentissage, alors que la méthode JEST se base sur des lots entiers. Elle crée d'abord un petit modèle d'IA qui évalue la qualité des données provenant de différentes sources, en classant les lots en fonction de leur qualité. Il compare ensuite ce classement à un ensemble plus important de données de moindre qualité. Le petit modèle JEST détermine les lots les plus adaptés à la formation, puis un grand modèle est formé à partir des résultats du petit. Selon Deepmind, « cette approche surpasse les modèles de pointe avec jusqu'à 13 fois moins d'itérations et 10 fois moins de calculs ».

Les fournisseurs d’infrastructures ne sont pas en reste pour proposer des IA Factory mélangeant des briques matériels (serveur, stockage et réseau) optimisées pour l’IA et des services comme chez Dell, HPE, Cisco ou Lenovo. La brique logiciels n’est pas oubliée avec des évolutions au sein des bases de données et la prise en charge des vecteurs, mais aussi sur les efforts menés par les pure players sur leurs modèles comme OpenAI, Anthropic, Mistral AI, Meta ou Google. Il est probable que dans les années qui viennent, l’optimisation IT, des besoins plus identifiés et des actions de régulation entraînent des dépenses plus ciblées et freinent cette course folle…