Le développeur du test le plus largement utilisé pour classer les performances des supercalculateurs a expliqué que sa métrique est devenue obsolète et travaille sur un autre test qui sera introduit en novembre prochain. Jack Dongarra, professeur d'informatique à l'Université du Tennessee, a en effet récemment déclaré que le test Linpack, qu'il a développé dans les années 1970 et qui sert depuis 20 ans à établir le Top500 des ordinateurs les plus rapides au monde, n'est plus l'outil le mieux adapté à la mesure des performances.

Le nouvel outil, a-t-il dit, pourrait changer la façon dont les fournisseurs conçoivent leurs supercalculateurs et offrira aux clients une meilleure mesure de la performance qu'ils peuvent attendre pour les applications du monde réel. Le fameux Top500, publié deux fois par an en juin et novembre, est surveillé de près par les vendeurs, les utilisateurs et les nations qui cherchent à savoir qui a le système le plus rapide. Le leader actuel est le Tianhe-2, développé par l'université nationale des Technologies de la Défense en Chine.

Un outil qui commence à dater

L'outil Linpack a été utilisé pour la première fois en 1993 pour classer les systèmes de la première liste du Top500, mais ce n'est plus un indicateur fiable pour mesurer les performances des applications réelles, a indiqué M. Dongarra. « Linpack mesure la vitesse et l'efficacité des calculs d'équations linéaires », selon un communiqué annonçant l'arrivée du nouvel outil de référence, appelé High Performance Gradient Conjugué (HPCG). « Au fil du temps, les applications nécessitant des calculs plus complexes sont devenues plus fréquentes. Ces calculs nécessitent une bande passante élevée et une faible latence. Linpack est incapable de mesurer ces calculs plus complexes. »

HPCG est nécessaire, a déclaré M. Dongarra à notre confrère d'IDG NS James Niccolai, en partie parce que les fournisseurs informatiques optimisent leurs systèmes pour obtenir un bon classement au Top500. Linpack a encouragé les fournisseurs à développer leur architecture pour un système de mesures et non pas pour les applications réelles. « Nous ne voulons pas construire une machine qui réussit très bien avec un « faux » problème. Nous voulons construire une machine qui travaille bien avec un grand nombre d'applications », a déclaré M. Dongarra, qui a développé le nouveau test avec un collègue, Michael Heroux du Sandia National Laboratories à Albuquerque.

Des désaccords attendus

En raison de la façon dont le nouveau test est mis en place, il pourrait cependant susciter des désaccords quant au classement du supercalculateur le plus rapide au monde. C'est parce que HPCG sera introduit progressivement dans le temps, et il pourrait s'écouler des années avant qu'il ne devienne la principale méthode pour classer le Top500.

« Une des choses intéressantes avec Linpack, c'est qu'il n'y a qu'un seul numéro 1, de sorte qu'il est très facile de savoir quel est l'ordinateur le plus rapide », a déclaré Jack Dongarra. Il prévoit donc de maintenir le test Linpack au côté du HPCG en séparant bien les mesures délivrées, mais il faudra des années avant qu'un nombre important de supercalculateurs soient testés avec la nouvelle méthode.

« En novembre, je m'attends à juste avoir quelques entrées dans la base de tests. Obtenir tous les supercalculateurs du Top500 va prendre un certain temps, je suppose que cinq années seront nécessaires pour voir cette liste entièrement remplie », a-t-il dit. À partir de novembre, « nous allons avoir une liste Top 500 avec une deuxième colonne, et cette seconde colonne sera le nouveau point de référence », a déclaré Jack Dongarra.


[[page]]

Les deux mesures pourraient conduire des centres de calcul, qui convoitent les premières places du Top500, à mettre en avant l'ancienne ou le nouveau test pour affirmer leur leadership. Cela pourrait rendre plus difficile de dire avec certitude qui a le superordinateur le plus rapide, mais il semble que, au moins pour l'instant, le Top500 conservera toujours Linpack pour le classement primaire. Le nouveau test pourrait conduire à de « grands changements » dans le classement des systèmes présentent le plus grand potentiel en performance, a encore indiqué Jac Dongarra. L'indice de référence HPCG met en avant des caractéristiques architecturales qui pourraient défavoriser les systèmes qui fonctionnent bien sur le test Linpack car optimisés pour ce dernier. « Je pense que les utilisateurs devront soigneusement évaluer les résultats pour savoir quel système répond le mieux à leurs problèmes. Et au fil du temps, j'ose espérer que la nouvelle [référence] aurait plus de poids. »

HPCG a été, en partie, développé à la demande du Département US de l'Énergie (DOE), précise le professeur. « Ils regardent maintenant vers l'exascale, et le problème est que si vous construisez un ordinateur exascale qui exécutera bien le test Linpack, il ne sera pas aussi bon avec d'autres problèmes. C'est donc l'une des questions soulevées ici. » L'université du Tennessee mène des projets conjoints avec le DOE et Jac Dongarra dit qu'il est familier avec les exigences de l'application. Mais il a déclaré que le nouveau test sera un bon indicateur de la façon dont les ordinateurs vont exécuter d'autres types d'applications, tels que ceux utilisés pour l'exploration pétrolière et gazière ou la modélisation météorologique.

Disponible pour les constructeurs

« Un des problèmes avec Linpack, c'est qu'il ne met en avant qu'un seul indicateur, le potentiel en virgule flottante de l'ordinateur », a-t-il dit. Il n'insiste pas sur des domaines tels que la latence du système et la gestion de la mémoire. Le prochain test sera en mesure de révéler les faiblesses des systèmes dans ces domaines.

Jack Dongarra prévoit de distribuer le test logiciel auprès des constructeurs d'ordinateurs dans les prochains mois, en leur donnant une chance de commencer l'optimisation de leurs systèmes et de proposer des modifications à HPCG avant qu'il ne soit officiellement présenté à la conférence SC13 à Denver en novembre 2013, où le prochain Top500 sera annoncé.