C’est bouclé. Red Hat a définitivement acquis Neural Magic. L’opération avait été annoncée le 12 novembre dernier sans préciser le montant. Sortie du MIT en 2018, la start-up Neural Magic est spécialisée dans l'ingénierie des performances de l'IA générative, les algorithmes d'optimisation des modèles et les services d'inférence GPU et CPU haute performance.

L'offre principale de Neura Magic s'articule autour du runtime de modèle vLLM, une bibliothèque open source populaire conçue pour une inférence à haut débit et mémoire efficaces servant à l'exécution de LLM open source. A noter que vLLM est utilisé par défaut dans RHEL AI et OpenShift AI de Red Hat et est aussi supporté dans plusieurs types d'environnements matériels (GPU AMD, Google TPU, accélérateurs Intel Gaudi, GPU Nvidia et CPU x86) mais aussi logiciels comme le SDK d'inférence AWS Neuron.

Démocratisation et personnalisation des LLM

Avec ce rachat, Red Hat veut démocratiser la puissance de l'IA grâce à des modèles sous licence open source qui peuvent fonctionner n'importe où. Les entreprises pourront ainsi personnaliser de grands modèles de langage, utiliser l'ingénierie des performances d'inférence pour améliorer l'efficacité de l'infrastructure et s'associer à la communauté du libre pour élargir les choix en matière de matériel et d'architecture des puces.

« Il faut que les charges de travail d'IA puissent être exécutées partout où se trouvent les données des clients dans le cloud hybride pour rendre les plateformes et les outils flexibles, normalisés et ouverts, afin que les entreprises puissent sélectionner les environnements, les ressources et les architectures qui s'alignent le mieux sur leurs besoins opérationnels et de données uniques », a déclaré Matt Hicks, président et CEO de Red Hat, dans un communiqué.