Le secteur de l’IA générative est en pleine effervescence. Après une vague d’investissements dans différentes start-up comme Microsoft dans OpenAI (près de 10 milliards de dollars), l’heure est aussi venue pour des acquisitions. C’est le cas de Databricks qui vient de casser sa tirelire pour s’offrir MosaicLM qui propose une plateforme d’entraînement et de déploiement des grands langages de modèles (LLM).

L’opération est estimée à 1,3 milliards de dollars. MosaicML a été fondé en 2021 à San Francisco et a levé un peu moins de 34 millions de dollars auprès d’investisseurs tel que DCVC, AME Cloud Ventures, Frontline, Atlas, Playground Global et Samsung Next, selon PitchBook. La jeune pousse était alors valorisée à 136 millions de dollars. La transaction avec Databricks montre tout l’intérêt pour cette technologie, ainsi que le recrutement de talents.

Une intégration avec la plateforme Lakehouse

MosaicML est connu pour pour ses LLM baptisés MPT. Ces transformeurs existent dans une version comprenant 7 milliards d’hyperparamètres (MPT-7B) et une plus récente avec 30 milliards de paramètres (MPT-30B). L’accord prévoit que ces modèles seront intégrés à la plateforme Lakehouse de Databricks pour construire des IA génératives et entraîner des LLM. L’objectif est « d’offrir aux clients un moyen simple et rapide de conserver le contrôle, la sécurité et la propriété de leurs précieuses données sans coûts élevés », indique Databricks.

La firme américaine est aussi présente sur la partie LLM avec Dolly. Présenté en mars dernier, ce modèle se distingue à GPT d’OpenAI en ne jouant pas sur la quantité de paramètres. Il fonctionne en prenant un modèle open source existant de 6 milliards de paramètres (contre 175 milliards pour GPT 3.5). Databricks a ensuite sorti en open source une seconde version de Dolly avec 12 milliards de paramètres. Pour la petite histoire, le nom Dolly fait référence au premier mouton cloné, car il s’agit d’un clone du modèle, Alpaca développé par des universitaires de Stanford, lui-même basé sur LLAMA de Meta.