A l’automne dernier, les atermoiements au sein d’OpenAI (éviction de Sam Altman avant son retour 48h après) ont montré à certaines entreprises les risques potentiels à être dépendants d’un seul fournisseur en matière d’IA générative. Depuis, plusieurs sociétés grandes ou petites ont développé des modèles open source, offrant des alternatives moins coûteuses ou plus spécialisées. De plus, les contraintes réglementaires et les préoccupations en matière de sécurité poussent certaines entreprises à exécuter leur IA sur leurs propres infrastructures on prem ou dans des clouds privés qu'elles contrôlent entièrement. Pour toutes ces raisons, certaines entreprises se tournent vers des plateformes de tierces parties qui évitent le verrouillage par un fournisseur d'IA ou de cloud spécifique. Dans le genre, VMware, désormais propriété de Broadcom, fait figure de bon candidat.

Une premier pas avec Nvidia concluant

Lors de l’évènement VMware Explore, Broadcom a rendu l’option encore plus attractive en annonçant la prise en charge d'un nouveau magasin de modèles pour l’offre Private AI Foundation with Nvidia présente dans VCF (VMware Cloud Foundation). Disponible pour tous depuis mai dernier, la plateforme commune aux deux fournisseurs, déjà utilisée par plusieurs clients dont l'US Senate Federal Credit Union, prend en charge les modèles, outils et framework d'IA de Nvidia. « Nous pensons que l'IA a beaucoup à apporter au service client, que ce soit pour fournir à notre personnel interne des réponses via des chatbots alimentés par une base de connaissances, que pour répondre à des questions financières de nos membres, quel que soit le terminal qu'ils utilisent pour leurs opérations bancaires », a déclaré Mark Fournier, DSI de la U.S. Senate Federal Credit Union, dans un communiqué. « Private AI fonctionnant sur VCF va nous apporter une valeur ajoutée considérable en nous permettant de fonctionner en nous conformant aux pratiques que nous avons suivies pendant des années dans un environnement de cloud privé ».

Lors de sa sortie initiale, la plateforme commune est capable de déployer des applications d'IA générative et inclue une base de données vectorielle afin que les entreprises puissent utiliser la génération augmentée de récupération (Retrieval Augmented Generation, RAG) pour que leur IA générative donne des réponses plus précises et plus récentes. « Il nous manquait un gestionnaire de magasin de modèles », a expliqué Paul Turner, vice-président des produits de la division VMware Cloud Foundation chez Broadcom. Grâce à ce module, les entreprises peuvent mettre à disposition de leurs développeurs une sélection de modèles d'IA, ainsi que des contrôles d'accès à ces modèles. « Elles peuvent aussi s’assurer que personne n'utilise de grands modèles de langage qu’elles ne souhaitent pas prendre en charge », a poursuivi M. Turner. « En effet, il est difficile de savoir d’où provient un LLM trouvé sur Internet, ou son origine, et avec le gestionnaire, on peut gérer les LLM pour sa base d'utilisateurs et encadrer leur travail d’innovation autour de l’IA générative. »

Hugging Face, Meta, Google et Mistral dans le magasin de modèles

Les clients de VMware peuvent utiliser les modèles d'IA de Nvidia, ainsi que les modèles de Hugging Face et d'autres partenaires, notamment le modèle Llama 3 de Meta et ceux de Google et Mistral. « Tout ce que Nvidia prend en charge, nous le prenons en charge », a précisé M. Turner. Outre ce magasin de modèles, Broadcom a annoncé d’autres fonctionnalités, dont des outils pour sécuriser les modèles avec des contrôles d'accès intégrés, un flux de travail de déploiement rationalisé et des flux de travail d'IA de référence pour des cas d’usage spécialisés comme le service client, la découverte de médicaments et l'extraction de données PDF.

VMware Cloud Foundation bénéficie également d’améliorations comme la réduction du nombre de consoles de gestion pour le provisionnement des services à une seule console pour les opérations et l’automatisation. La plateforme se voit doter d’une capacité de tiering de la mémoire NVMe et accélérera les applications gourmandes en données comme l'IA, les bases de données et l'analyse en temps réel. Enfin, elle embarque des fonctions de sécurité notamment une gestion unifiée de la sécurité sur plusieurs déploiements de VMware Cloud Foundation.

Cependant, Broadcom n'a pas encore indiqué à quel moment VMware Cloud Foundation 9 serait livré avec l’ensemble de ces fonctionnalités. « Pour l’instant, il s’agit de dresser l'orientation future de VMware Cloud Foundation et de notre feuille de route pour VMware Cloud Foundation 9 », a déclaré Prashanth Shenoy, vice-président du marketing produit pour la division VCF de Broadcom.