Il y a trois mois, Red Hat a accéléré dans l'intelligence artificielle générative en annonçant, lors de son sommet annuel à Orlando, Enterprise Linux AI. la distribution est désormais en disponibilité générale. Sa mission : répondre aux problèmes des entreprises pour construire et déployer l'IA dans les clouds hybrides et aux coûts élevés de formation et d'inférence associés selon le fournisseur. « Les entreprises sont confrontées à un choc des prix », a expliqué de son côté Andy Thurai, vice-président et analyste principal chez Constellation Research. « Non seulement il est onéreux de former ou d'affiner un modèle, mais le coût du déploiement et de l'utilisation du modèle en production - les prix d'inférence - peuvent s'accumuler rapidement, rendant les coûts de formation insignifiants en comparaison Les entreprises recherchent des solutions plus économiques. »

De son côté Tushar Katarki, directeur principal de la gestion des produits pour plateformes hybrides de Red Hat, explique que le fournisseur ne publie pas d'informations sur les tarifs, si ce n'est pour dire que RHEL AI est disponible à un prix attractif. Et d'ajouter que les coûts de sa dernière solution sont jusqu'à 50 % inférieurs pour des performances similaires, voire légèrement supérieures à d'autres. « Les plateformes d'IA fermées comme ChatGPT d'OpenAI et Claude d'Anthropic sont toutes livrées uniquement sur un modèle SaaS », indique-t'il « alors que RHEL AI, qui prend en charge plusieurs modèles open source dont Granite d'IBM, peut être exécuté sur différents clouds et sur une grande variété de serveurs OEM. »

Le LLM ouvert IBM Granite 7B pris en charge au lancement

Au démarrage, RHEL AI comprend la prise en charge du modèle de langue anglaise Granite à 7 milliards de paramètres. Un autre modèle Granite (8B) est en bêta et sera disponible à la fin de cette année ou au début de 2025. RHEL AI est également livré avec Instruct Lab, un projet open source qui aide les entreprises à affiner et à personnaliser les modèles d'IA ouverts. Enfin, ce produit est fourni avec toute l'infrastructure de la plateforme sous-jacente, poursuit Tushar Katarki. Cela inclut la prise en charge immédiate des accélérateurs GPU Nvidia et dans les prochaines semaines ceux d'AMD et d'Intel. Tout est présenté sous la forme d'une image de conteneur, ajoute le responsable, afin que les entreprises puissent utiliser leurs outils de gestion de conteneurs existants pour l'administrer. « Considérez RHEL Linux AI comme un terminal. Il contient tout. Le modèle Granite, Instruct Lab, tous les logiciels de plateforme sous-jacents dont vous avez besoin et le système d'exploitation sous-jacent », soutient Tushar Katarki. Selon le fournisseur, la distribution aide les entreprises à s'éloigner de l'approche modèle pour tous de l'IA générative, qui est non seulement coûteuse, mais qui peut aussi enfermer les entreprises dans un seul fournisseur. Il existe aujourd'hui des LLM open source dont les performances rivalisent ainsi avec les modèles propriétaires.

« Et il existe des modèles plus petits qui sont vraiment adaptés aux cas d'utilisation spécifiques des entreprises et à leurs données. Ils offrent un bien meilleur retour sur investissement et des coûts globaux bien plus intéressants que les LLM en général », ajoute Tushar Katarki. Les modèles eux-mêmes, mais aussi les outils nécessaires pour les entraîner, sont également disponibles auprès de la communauté open source. « L'écosystème alimente réellement l'IA générative, tout comme Linux et l'open source ont alimenté la révolution du cloud », poursuit le directeur. En plus de permettre aux entreprises d'exécuter l'IA générative sur leur propre matériel, RHEL AI prend également les ressources tournant sur des clouds public tiers en commençant par AWS et IBM puis Azure et GCP au cours du quatrième trimestre.

Support et architectures de référence GenAI à venir

La feuille de route de RHEL AI prévoit également d'encadrer la GenAI. « Les garde-fous et la sécurité sont l'une des valeurs ajoutées d'Instruct Lab et de RHEL AI », explique le dirigeant. « Nous les intégrons à la formation elle-même. La plateforme ne prend actuellement en charge aucun framework de sécurité spécifique et n'est pas livré avec un support prêt à l'emploi mais des documents et architectures de référence complémentaires sont prévus prochainement. « L'avenir, ce sont les flux de travail et les systèmes GenAI », déclare-t-il. « Ce n'est pas différent de l'approche des microservices. Nous disposons d'outils permettant aux gens de les adapter à différents cas d'utilisation. Les SLM en particulier s'adaptent bien à l'approche orientée agents », ajoute Tushar Katarki pour qui, contrairement à un grand modèle qui fait tout, un ensemble de petits modèles est plus facile à maintenir, plus facile à former, plus facile à personnaliser et plus rentable pour l'inférence.