En direct de Las Vegas - IBM mise beaucoup sur Spark. Lors de son évènement Insight 2015 qui se tient du 26 au 29 octobre à Las Vegas, la firme d’Armonk a lancé la version finale de Spark-as-a-service comme il l’avait promis en juin dernier. Le framework analytique Open Source (licence Appache) concurrent du moteur Map Reduce est disponible à travers Bluemix, le PaaS d’IBM, après plusieurs mois passés en bêta. Celle-ci avait d’ailleurs attiré 4 600 curieux. 

Une optimisation sur les architectures IBM

« Spark permet aujourd’hui d’aller beaucoup plus vite que MapReduce. En poussant la solution sur notre PaaS, nous souhaitons la rendre plus accessible pour les data scientist », détaille Derek Schoettle, directeur général de la division Cloud Data Services d’IBM. A travers Bluemix, il est ainsi possible d’adosser Spark à d’autres briques de la gamme IBM telle que Cloudant (NoSQL) ou encore DashDB (data lake). Le code de la solution a d’ailleurs était optimisé pour les architectures Power8 d’IBM. Un changement de la librairie permet également à Spark de répartir les charges de travail entre CPU et GPU pour plus d’efficacité. 

À en croire big blue, les équipes ont travaillé d’arrache-pied pour permettre à cette offre de voir le jour. Le Spark Technology Center d’IBM qui compte aujourd’hui 35 contributeurs a notamment apporté des fonctionnalités SQL et de machine learning au framework. Il faut dire qu’au delà du simple outil analytique en mode SaaS, la firme d’Armonk semble avoir d’autres projet pour Spark. « Dans la vision d’IBM, il y a deux façons d’employer ce framework. Premièrement, comme nous le faisons avec Spark-as-a-service, nous le proposons comme un produit à part entière à adosser à des solutions existantes. Mais nous l’utilisons aussi comme une pièce maitresse de l’architecture d’autres solutions », explique Rajesh Bordawekar, membre des équipes de recherches d’IBM. 

Vers une « sparkisation » des produits IBM

Ainsi, des solutions comme Informix (base de données relationnelle) devraient embarquer Spark pour doper le streaming de données. En outre, son utilisation dans DataWorks a permis de réduire de 87% le volume du code de la solution, passant ainsi de 40 à cinq millions de lignes. IBM l’a également employé pour simplifier les architectures de BigInsight, Streams et SPSS. « Nous allons utiliser Spark comme une des fondations de nos plateformes analytiques pour l’industrie », déclare, en outre Rob Thomas, vice-président du développement produit pour IBM Analytics. Big blue semble donc bien partit pour « sparkiser » une grande partie de sa gamme de solutions analytiques, un moyen comme un autre de populariser ce framework sur lequel la firme mise beaucoup.