Le développement des plates-formes de traitement Hadoop dans le cloud est une bonne opportunité pour les fournisseurs de services en ligne de se différencier en offrant une technologie de pointe. L'utilisation croissante du cloud computing pour des développements et des tests Hadoop permet d'exploiter une plate-forme, où les ressources disponibles sont pratiquement illimitées avec une tarification du type « vous payez ce que vous utilisez vraiment ».
Si Microsoft, avec SQL Azure/Hortonworks, AWS, avec Elastic MapReduce Service, et OVH, avec Cloudera CDH3, proposent déjà des traitements en ligne Hadoop, Joyent et Skytap sont les nouveaux venus sur ce marché des fournisseurs Hadoop dans le cloud. Un marché appelé à connaître une forte croissance en 2013. Skytap a annoncé la semaine dernière que son offre Hadoop basée sur Cloudera est d'ores et déjà disponible sur des clusters trois noeuds pouvant être étendus à 50 noeuds sans avoir à payer pour une licence Cloudera. Il suffit de démarrer avec un abonnement à l'offre SkyTap, qui commence à 500 $ par mois. Les noeuds peuvent être étendus avec des VM ESX dotées de huit processeurs avec 32 Go de RAM.
Développements et tests mais également production
L'offre de SkyTap est destinée aux entreprises qui désirent développer des projets ou utiliser la plate-forme cloud comme une extension de leur cluster Hadoop installé dans leurs propres locaux. « Si vous avez un cluster Cloudera sur site et qu'à certains moments vous avez besoin de capacités de traitement supplémentaires, vous pouvez déborder vers ces noeuds virtuels», a expliqué Brett Goodwin, vice-président du marketing pour Skytap. Les noeuds Hadoop subissent généralement une certaine dégradation des performances lors qu'ils sont exécutés sur des instances virtualisées, ce qui explique pourquoi la plupart des entreprises gèrent leurs clusters Hadoop dans leurs propres locaux sans recourir à la virtualisation. Mais pour faire des tests, ou gérer un « burst » ponctuel, le cloud est un choix logique, explique-t-il.
Joyent a quant à lui a également collaboré avec HortonWorks pour son offre Hadoop, qui, selon la compagnie propose des performances bare-metal dans son cloud, c'est-à-dire sans recourir à une couche de virtualisation sur les serveurs. Citant une étude réalisée par Altoros Systems, Joyent prétend proposer les meilleures performances avec son offre Hadoop hébergée. Cette étude souligne que les clusters Hadoop de Joyent offre trois fois plus vite de débit disque en entrées/sorties par rapport à une infrastructure de taille similaire, tout en étant beaucoup moins cher. Comme pour l'offre de Skytap, les clients de Joyent ne paient que pour les ressources IaaS, et non pas pour la licence Hadoop.
D'autres acteurs déjà présent sur le marché Hadoop cloud
Comme nous l'avons dit plus haut, Joyent et Skytap ne sont pas les seuls à proposer des services Hadoop en ligne. Amazon Web Services, que beaucoup considèrent comme le leader du marché IaaS, propose déjà une offre Hadoop baptisée Elastic Map Reduce (EMR), qui repose sur ses plates-formes Elastic Cloud Compute (EC2) et Simple Storage Services (S3). Avec EMR, AWS associe des instances virtuelles dotées de 16 coeurs, 117 Go de RAM et 48 To de stockage. Pour cette offre, AWS travaille avec deux partenaires principaux, MapR et HBase.
D'autres fournisseurs de services cloud ont également commencé à déployer des offres Hadoop. OVH, qui recherche des talents Hadoop, propose des serveurs dédiés pouvant accueillir trois moutures de la distribution Cloudera : modes « pseudo-distributed », « Master » et « Slave ». Microsoft met en avant HDInsight, qui fonctionne sur Windows Server ou Windows Azure grâce à l'outil System Center 2012 SP1. Rackspace et HortonWorks ont indiqué l'automne dernier que les deux sociétés allaient développer conjointement une offre reposant sur OpenStack mais leur solution n'a pas encore été annoncée. Google et MapR ont travaillé ensemble, mais ne proposent pas de produits, tandis que VMware travaille activement sur la virtualisation de clusters Hadoop avec son projet Serengeti.