Le constructeur de supercalculateurs Cray cherche à faciliter l'utilisation du système de fichiers Lustre avec sa solution de gestion hiérarchique du stockage TAS (Tiered Adaptive Storage). A Leipzig, sur la manifestation ISC'14 (International Supercomputing Conference, 22-25 juin), il vient de lancer le connecteur TAS pour Lustre, conçu pour les environnements big data et de calcul haute performance. Celui-ci apporte à ses clients une façon simplifiée de transférer les données à travers différents niveaux de stockage et emplacements, des SSD jusqu'aux systèmes sur bande.

Les jeux de données pour l'analyse des big data et pour le calcul scientifique continuent à croître et les utilisateurs peuvent vouloir se tourner vers des systèmes de fichiers distribués pour améliorer les débits. Lustre est l'un des plus utilisés pour les applications HPC (high performance computing) qui gèrent couramment des téraoctets de données. Il permet d'écrire et de lire les données à travers des centaines de serveurs de stockage avec un niveau total d'entrées/sorties de plus d'un téraoctet par seconde. S'il a été adopté pour les HPC, ce système développé en 1999 à l'Université de Carnegie Mellon n'a en revanche guère pénétré le marché des entreprises jusqu'à maintenant, sans doute en raison de sa complexité.

Une interface proche de celle de SAM-QFS

Selon Cray, le logiciel TAS devrait atténuer certaines difficultés dans la gestion des données avec Lustre. TAS est conçu pour administrer le stockage à grande échelle sur différents niveaux de supports, SSD, disques ou bandes. Les administrateurs peuvent automatiser le stockage de millions de téraoctets de données en créant des politiques de migration basées sur des quota pré-établis pour chaque disque. Cray s'est appuyé sur l'API de Lustre pour proposer cette gestion hiérarchique. Il explique que l'accès aux données se fait de façon transparente pour les utilisateurs et que les outils proposés seront familiers aux administrateurs systèmes. L'interface et les fonctionnalités ressemblent en particulier à celles de SAM (Storage Access Manager), un ensemble d'outils de gestion du stockage hiérarchique développé par Sun pour QFS (Quick File Sytem, désormais chez Oracle).

Ce n'est pas la première offre de Cray pour Lustre. Le constructeur propose aussi un système de stockage qui l'exploite, Sonexion, ainsi qu'un système de stockage Lustre pour les clusters x86 sous Linux, Cluster Connect. Dans un communiqué, Barry Bolding, vice président responsable du stockage chez Cray, souligne par ailleurs la volonté du constructeur de continuer à bâtir sur des technologies ouvertes. « Le connecteur TAS pour Lustre fonctionnera sur n'importe quel environnement Linux ou Lustre, quel que soit son fournisseur ».