Red Hat a annoncé ce 12 novembre avoir signé un accord définitif pour l'acquisition de Neural Magic. Basée à Somerville (Massachusetts), cette start-up créée en 2018 par le professeur Nir Shavit et le chercheur Alex Matveev du MIT propose des logiciels et des algorithmes d'optimisation des modèles d'IA et les services d'inférence GPU et CPU haute performance qui accélèrent les charges de travail d'inférence de la GenAI. « La technologie de Neural Magic vient enrichir le portefeuille de technologies d'IA de Red Hat et nous permet d'étendre une GenAI plus efficace et prête pour le cloud hybride », explique le fournisseur dans son communiqué. 

L'offre principale de Neura Magic s'articule autour du runtime de modèle vLLM, une bibliothèque open source populaire conçue pour une inférence à haut débit et mémoire efficaces servant à l'exécution de LLM open source, explique Red Hat dans un billet de blog complémentaire. Développé par des chercheurs de l'Université de Berkeley (Californie), vLLM est utilisé par défaut dans RHEL AI et OpenShift AI de Red Hat et est aussi supporté dans plusieurs types d'environnements matériels (GPU AMD, Google TPU, accélérateurs Intel Gaudi, GPU Nvidia et CPU x86) mais aussi logiciels comme le SDK d'inférence AWS Neuron. « Red Hat est déjà impliqué dans la communauté vLLM en amont et exploite la technologie pour l'inférence de modèles dans Red Hat Enterprise Linux AI (RHEL AI) et Red Hat OpenShift AI. Le fait de nous réunir par le biais de cette acquisition nous aidera à faire passer ces efforts à une plus grande échelle », fait savoir l'éditeur au chapeau rouge.

Faciliter la généralisation de l'IA

« Neural Magic a été fondée sur la conviction que l'IA devrait pouvoir fonctionner partout, des plus petits terminaux aux plus grands datacenters [...] L'étincelle de Neural Magic s'est allumée lorsque Nir et Alex ont reconnu un goulot d'étranglement critique dans l'avancement de l'IA : la dépendance à l'égard des GPU coûteux et souvent rares. Cette dépendance a créé une barrière à l'entrée, entravant l'adoption généralisée de l'IA dans diverses industries et limitant son potentiel à révolutionner notre mode de vie et de travail. », a déclaré Matt Hicks, président et CEO de Red Hat dans un autre billet de blog.

L'expertise de Neural Magic dans les grands modèles de langage ainsi que la capacité de Red Hat à prendre en charge ces modèles dans le cloud hybride s'alignent sur l'objectif de l'éditeur open source de rendre la GenAI plus accessible à un plus grand nombre d'entreprises. En s'appuyant sur ce rachat, Red Hat compte bien aider les entreprises à personnaliser de grands modèles de langage, à utiliser l'ingénierie des performances d'inférence pour améliorer l'efficacité de l'infrastructure et à s'associer à l'écosystème open source pour élargir les choix en matière de matériel et d'architecture des puces.