Si Londres a inauguré un night-club dans une église (désacralisée) dans les années 80, Barcelone donne dans un autre genre avec le BSC (Barcelona Supercomputing Center) qui a installé son supercalculateur Marenostrum 4 (Marenostrum 3 avait été fourni par IBM) d’une puissance totale de 13,5 petaflops (13,5 millions de milliards d'opérations par seconde) dans une ancienne chapelle (également désacralisée). La capitale catalane a fait appel à plusieurs fournisseurs pour construire son cluster de puissance et principalement Lenovo qui fournit la partie assurant une puissance de 11,1 pétaflops pour un montant de 34 millions d’euros. Le budget est financé par le gouvernement fédéral et la région catalane, nous a expliqué Sergi Girona, directeur des opérations au BSC. Rappelons pour mémoire que le Genci vient de commander un supercomputer d’une puissance de 14 pétaflops à Bull/Atos qui sera livré au CNRS mi-2019 et, ce, pour un montant de 25 millions d’euros. Et ce sera un des plus performants en France. Nous reviendrons toutefois sur le prix final de ce dernier système quand il aura été définitivement mis en service car le prix des composants a baissé, notamment les puces Intel Sky Lake et les SSD. Difficile de comparer donc d'une année sur l'autre.

C'est dans l'ancienne chapelle de la famille Girona, aucun lien avec Sergi Girona, que le BSC a installé son centre de calcul MareNostrum 4. (Crédit S.L.)

Un mot pour expliquer comment le cluster MareNostrum 4 monte à une puissance de 13,5 pétaflops. A coté du système vendu par Lenovo - 48 racks avec 3456 nœuds équipés de puces Intel Xeon Platinium (Skylake) refroidies par eau épaulées par 390 To de RAM et 14 Po de stockage SSD et disques durs – le BSC exploite en complément une grappe de serveurs IBM Power9 épaulés par des GPU Nvidia Volta (1,57 pétaflops) et un cluster de serveurs ARM v8 (0,5 pétaflops). Le total atteint donc 13,7 pétaflops si on fait une simple addition. Mais ce système est partitionné pour répondre à différents usages (météo avec Caliope ou simulation médicale avec Alya Red). La part des puces ARM en termes de performances est ici particulièrement faible mais plusieurs organismes pilotant des ressources HPC testent depuis quelques années ces puces basse consommation. Le Genci a ainsi commandé l’an dernier le supercalculateur Atos BullSequana X1310 reposant sur 552 processeurs ARM pour renforcer les capacités en simulation numérique par calcul intensif du CEA. Cette architecture alternative - ARM - commence à marquer des points sur le marché du HPC face à la traditionnelle plateforme x86. Les puces ARM peuvent mieux répondre aux besoins de la recherche scientifique qui peut plus facilement adapter ses outils de calcul massivement parallèle que les entreprises, ces dernières utilisant principalement des applications commerciales développées par des éditeurs. Malgré le développement de l'écosystème ARM - OS, bibliothèques et compilateurs 64 bits -  le portage depuis la plateforme x86 reste délicat.

La salle HPC ne dépasse pas les 25 degrés. (Crédit S.L)

Un coût d'exploitation moins élevé

Le dernier système livré par Lenovo au BSC fait appel à un refroidissement liquide très discret (échangeur de chaleur via les portes arrière des armoires) pour améliorer l’efficience énergétique et baisser la facture d’énergie au final. Selon Madhu Matta, vice-président marketing en charge du HPC et de l’IA chez Lenovo, le surcoût par rapport à un refroidissement classique par air est compensé par les coûts d’exploitation annuels et l’amélioration de la densité au métre carré. Grâce au refroidissement plus efficace, il est possible d’augmenter le nombre d’équipements dans un rack et d’améliorer ainsi le coût au mètre carré. On peut également utiliser des processeurs avec un TPD (Thermal Design Power) supérieur à 160 watts. Le débat n’est pas nouveau, mais certains administrateurs rechignent toujours à installer des systèmes reposant sur un refroidissement liquide – plus chers et plus complexes - qui peuvent de plus irrémédiablement endommager de coûteux serveurs en cas de fuite ou de panne.

Faute de place sur le campus universitaire de Barcelone, Sergio Girona a installé son datacenter HPC dans une ancienne chapelle. Mais le prochain système, MareNostrum 5 en 2021, trouvera sa place dans le sous-sol d'un bâtiment annexe. (Crédit S.L)

Comme beaucoup de centres de recherche, le BSC travaille avec plusieurs fournisseurs pour ses supercalculateurs : Lenovo donc, mais aussi IBM, HPE et Cray. Ce dernier est le dernier acteur spécialisé dans le domaine du HPC. « Nous essayons d’être ouverts et non exclusifs », nous a indiqué Sergi Girona. Le BSC emploie aujourd’hui 600 personnes et tous les scientifiques en Europe peuvent accéder à ses ressources de calcul. Pour le datacenter HPC, ce sont pas moins de 60 personnes qui interviennent pour assurer son bon fonctionnement, nous a expliqué Sergie Girona. Pour la petite histoire, le BSC a installé son centre de calcul MareNostrum 4 - 640 mètres carrés au sol avec une consommation électrique de 1,3 mégawatt - dans cette chapelle désaffectée car c'était le seul local disponible sur le campus universitaire. Comme l'avait indiqué à l'époque le responsable du BSC à Sergi Girona : " The new god is computer"...