« C'est un chiffre rond très agréable», explique Jason Stowe, le PDG et fondateur de Cycle Computing, un fournisseur qui aide les clients à acquérir un accès rapide et efficace aux  supercalculateurs habituellement réservés aux universités et aux grands laboratoires de recherche. Cycle Computing avait déjà construit quelques clusters sur le Cloud d'Amazon Elastic Compute qui pouvaient évoluer jusqu'à quelques milliers de coeurs. Mais Jason Stowe veut passer à une étape supplémentaire : l'allocation de 10 000 coeurs sur Amazon dans un cluster HPC. Cela implique d'utiliser une technologie d'ordonnancement de commandes et d'exécuter une application HPC optimisée.

« Nous n'avons pas trouvé de références sur quelque chose d'aussi grand », précise le dirigeant. Sur les tests de capacité de traitement, l'architecture de cluster basé sur Linux proposée sur Amazon  serait assez importante pour intégrer le Top 500 des supercalculateurs les plus rapides du monde. Il revendiquerait la 114ème position avec 66 Terflops. Une des premières étapes a été de trouver un client qui bénéficierait d'un tel grand cluster. Il n'y a pas beaucoup d'utilisateurs pour ce type de supercalculateur. L'heureux élu est l'entreprise de biotechnologie Genentech, basée à San Francisco, où Jacob Corn, scientifique indique avoir besoin des capacités de calcul pour examiner comment les protéines se lient les unes aux autres. Cette recherche pourrait éventuellement mener à des traitements médicaux. Le scientifique indique par rapport au cluster de 10 000 coeurs, « nous sommes à un dixième de la taille en interne».

Du cloud et une dose de savoir-faire

Cycle Computing et Genentech ont déployé ce cluster le 1er mars dernier, un peu après minuit, sur les conseils d'Amazon, car il s'agissait du moment idéal pour mobiliser les 10 000 coeurs. Même si Amazon propose des instances de machines virtuelles optimisées pour l'informatique haute performance, les deux protagonistes du projet ont plutôt opté pour un cluster Linux reposant sur le standard « Vanilla CentOS » afin d'économiser de l'argent, souligne Jason Stowe. CentOS est une version de Linux basée sur une distribution Red Hat.

Les 10 000 coeurs sont composés de 1 250 instances avec huit coeurs chacun, ainsi que 8.75 To de RAM et 2 Po d'espace disque. 45 minutes ont été nécessaires pour mettre à disposition l'ensemble du cluster. Ce dernier a été utilisé pendant huit heures à un coût de 8 500 dollars, incluant toutes les redevances à Amazon et Cycle Computing. Pour Genentech, cet exercice n'était pas cher et se révèle plus simple que d'acheter 10 000 coeurs pour son propre centre de données et de les utiliser sur une courte durée. Jacob Corn explique qu'en utilisant ses propres ressources, les simulations auraient pris des semaines ou des mois car l'approche avec Amazon repose sur du calcul brut et ne s'embarrasse pas du dialogue entre les noeuds et certains effets du traitement massivement parallèle.

Cycle Computing a utilisé son propre logiciel CycleCloud, le système de planification pour le cluster et Chef Condor, un framework Open Source pour la gestion et la configuration. La société a également utilisé une partie de son logiciel pour détecter les erreurs et redémarrer les noeuds si nécessaire, un système de fichier partagé, et quelques noeuds supplémentaires au-dessus des 10 000 pour traiter certaines tâches. Pour assurer la sécurité, le cluster a été conçu avec Secure-HTTP et un chiffrement de 128/256 Advanced Encryption Standard (AES).


Crédit Photo: D.R