Dans le monde des semi-conducteurs, le secteur des accélérateurs orientés IA connait une forte activité avec les unités de traitement de réseau neuronal (NNPU), les FPGA (Field Programmable Gate Arrays), les circuits intégrés spécifiques aux applications (ASIC). Et ces derniers mois, la concurrence s’étoffe autour des accélérateurs d'inférence par opposition aux accélérateurs d'entrainement (machine learning). L'IA implique d'effectuer des inférences des milliers ou des millions de fois à chaque fois qu’un entrainement est réalisé. Très prometteuse dans ce domaine, la start-up SambaNova Systems annonce un quatrième tour de table (série D) de 676 millions de dollars pour financer le développement de sa puce Cardinal dédiée à l’IA pour accélérer les opérations d’entrainement et d’inférence (Graph, PyTorch et TensorFlow). La levée de fonds a été dirigée par SoftBank Vision Fund 2 avec deux autres investisseurs, Temasek et GIC. Ils viennent rejoindre les investisseurs existants BlackRock, Intel Capital, Google Ventures, Walden International et WRVI. Au total, la start-up a levé 1 Md$ pour une valorisation estimée à 5 Md$.

SambaNova a été fondée en 2017 par Rodrigo Liang (ancien d’Oracle) avec l’appui de deux professeurs à Stanford, Kunle Olukotun (un des pionniers du processeur multicore) et Chris Ré (lauréat du prix MacArthur). Cette start-up a développé une plateforme dédiée à l’IA baptisée DataScale SN10-8R reposant sur un serveur x86 sur base AMD Epyc avec 12 To de DDR4-3200, épaulé par huit accélérateurs maison Cardinal SN10 reliés entre eux via un switch dédié (comme un NVSwitch ou un NVLink chez Nvidia). La base est animée par uen distribution Linux associé au logiciel SambaNovaFlow  Des montées en puissance sont prévues avec des nœuds avec 16 et 32 RDU. Gravée en 7 nm chez TSMC, la Cardinal SN10 accueille près de 40 milliards de transistors dans un boitier de 708 mm2. C’est très gros. La puce concentre des unités reconfigurables (RDU pour Reconfigurable Dataflow Unit) qui optimisent le flux de données afin d’assurer une bande passante optimale et accélèrent le calcul. Si une charge de travail a besoin de plus de mémoire, le circuit s'adapte, presque comme un FPGA / ASIC structuré, mais avec beaucoup plus de performances et d'efficacité selon SambaNova. Ce dernier dispose en effet de son propre optimiseur et compilateur Graph, permettant aux clients utilisant actuellement PyTorch ou TensorFlow de recompiler leurs charges de travail pour la plateforme Cardinal.

Le serveur DataScale est disponible en quart, moitié et full rack avec des liens 100 GbE.  (Crédit SambaNova)

Une offre en mode as a Service

La start-up n’est pas la première à s’intéresser à ces problématiques d’innovations en matière d'IA à la périphérie et dans le cloud, d’analyse des images et vidéos, ou simplement de calcul intensif qui apportent aux entreprises des moyens supplémentaires pour voir, comprendre et prendre des décisions de manière inédite afin de répondre à des défis croissants. D’autres jeunes pousses travaillent sur ces mêmes concepts à savoir EdgeQ, Alibaba avec son circuit Xuantie 910, Google avec un NNPU spécial Tensor Flow, mais aussi Graphcore (qui a levé 222 M$ en décembre dernier),  Nuvia, Cerebras ou Cambricon en Chine qui a été introduite en bourse avec succès en juillet dernier. Et même Nvidia avec sa récente annonce Grace sur base ARM Neoverse. Mais la solution DataScale SN10-8R de SambaNova est un concurrent direct du système DGX-A100 de Nvidia. La start-up indique que son appliance promet des performances plus importantes que des configurations couplant CPU/GPU pour les modèles d’algorithme basés sur PyTorch ou TensorFlow. Un point à vérifier avec des outils comme MLCommons ou Machine Learning Benchmark Suite d'EEMBC. Signalons que SambaNova est un des membres fondateurs de MLCommons (ex MLPerf).

Les principaux outils de machine learning sont supportés par SambaNova. 

Récemment, la start-up a proposé l’offre Dataflow as a Service (DFaaS) donnant aux entreprises de se concentrer sur leur modèle d’IA sans se soucier de la partie technique. Une offre en mode souscription principalement axée sur le traitement du langage naturel, les moteurs de recommandation et l’analyse d’images haute résolution (santé ou astronomie).Avec ce dernier financement, NovaSamba veut accélérer la commercialisation de cette offre.