Avec le processeur que Cerebras Systems prépare spécifiquement pour les traitements de deep learning, il faut oublier l’image des CPU et GPU qui tiennent dans la main. Son fabricant assure avoir conçu la plus grande puce ayant existé, de la taille d’un clavier. L’énormité a été présentée sur la conférence Hot Chips qui s’est tenue du 18 au 20 août à l’Université Stanford. Il arrive que certains processeurs fassent une apparition sur Hot Chips et ne soient jamais commercialisés. Et il est bien possible que celui-ci appartienne à cette catégorie. On ne verra jamais quoi que ce soit de semblable dans un PC et il est probable que le processeur présenté ne puisse même survivre à long terme du côté des serveurs. Mais il est assurément surprenant. Cerebras Systems a été co-fondé par Andrew Feldman, son CEO, et Sean Lie, deux anciens de SeaMicro passés chez AMD. 

Sean Lie, architecte matériel en chef de Cerebras Systems, a co-fondé la société avec Andrew Feldman, CEO. Ce dernier a été CEO de SeaMicro, revendu à AMD en 2012 pour 355 M$.

Alors que le plus grand processeur graphique inclut 21,1 milliards de transistors et loge sur un emplacement de 815 millimètres carrés sur une galette de silicium, celui de Cerebras Systems recèle 1 200 milliards de transistors sur une découpe rectangulaire de 462,25 centimètres carrés mesurant environ 20,32 cm sur 22,86 cm. Ce processeur existe puisque son fabricant indique qu’il fait déjà tourner des charges de travail. Cela dit, des détails importants tels que le nombre de coeurs et la capacité mémoire n’ont pas été communiqués, pas plus que son coût de fabrication. Il est intéressant d’apprendre qu’il a été conçu en utilisant une technologie à 16 nm de l’industriel taïwanais TSMC. Le processeur de Cerebras est conçu pour l’apprentissage profond. Son fournisseur le décrit comme la mise en oeuvre d’un réseau de neurones « à l’échelle d’un wafer » qui regroupe essentiellement la logique, l’interconnexion et la mémoire sur la même surface de silicium. Si fabriquer le processeur peut s’avérer coûteux, son concepteur pense que mettre les interconnexions sur la puce peut être à la fois plus rapide et moins cher que de bâtir et connecter des coeurs distincts. 

Difficile à fabriquer et à refroidir

Evidemment, il est difficile de ne pas écarquiller les yeux lorsque l’on voit la taille du processeur. Qu’on en juge par comparaison avec la puce Itanium d’Intel telle qu’elle se présentait à l’origine. Sous le nom de code McKinley, elle était jugée très grande lorsqu’elle a commencé son parcours en 2002, avec 221 millions de transistors. Mais celle de Cerebras a plus de 5000 fois plus de transistors que McKinley n’en avait, sur un die (découpe sur la galette de silicium) dont la taille est 56 fois plus grande. Même la prochaine itération du Power9, également présentée sur Hot Chips, n’a que 8 milliards de transistors. De nombreux défis se présentent pour produire un processeur d’une telle taille dont sa seule fabrication et son refroidissement. Il est aussi impossible de la fabriquer sans déchets. Cerebras l’admet. Tous les fabricants de puces en ont et un certain nombre de puces défectueuses sur un wafer sont tout simplement rejetées. Cerebras a donc conçu des coeurs de traitement redondants, anticipant le fait que les défauts rendront certains d’entre eux inutilisables. En revanche, le fournisseur n’a pas su dire combien. Au total, il y a plus de 400 000 coeurs. Une structure d’entrées/sorties connectant chaque coeur peut contourner chaque coeur défectueux.  

Contre-intuitivement, concevoir un unique processeur monolithique économise en fait des coûts de fabrication. « Parce qu’il s’agit d’une seule puce, elle demande moins de puissance et moins de place pour la faire », a expliqué Sean Lie, ancien architecte matériel en chef de SeaMicro, acquis par AMD, et co-fondateur de Cerebras Systems. Refroidir une telle masse demande un peu plus qu’un simple dissipateur thermique et un ventilateur. Cerebras explique d’un « plateau froid » est attaché au-dessus du silicium, en utilisant différents tuyaux d’eau montés verticalement pour refroidir directement la puce. Parce que cette dernière est trop grande pour loger dans les packages habituels, Cerebras a mis au point son propre package qui combine un circuit imprimé, le wafer avec un connecteur spécifique reliant les deux, et le plateau froid. Il reste maintenant à découvrir si l'aventure va se poursuivre.