Hier, l’un des datacenters de Global Switch a pris feu à Clichy, au nord-ouest de Paris. Parmi les clients impactés, on note Google, Cybermalveillance.gouv.fr, Ecritel France ou encore les sites web de certaines villes françaises. PayPlug, une passerelle de paiement française, qui a apparemment oublié la partie redondante du cloud, a également fait les frais de cet incident. Hier dans la journée, un porte-parole de l’opérateur de datacenters a donné quelques éléments de réponse : « Un départ d’incendie s'est déclaré ce matin dans une salle de l’un des deux centres de données de notre site parisien. Les pompiers sont intervenus rapidement et l'incendie est désormais maitrisé. Les dispositifs anti-incendie du bâtiment ont parfaitement fonctionné, personne n'a été blessé. Le service de certains de nos clients a été temporairement affecté et notre équipe sur site travaille à le rétablir le plus rapidement possible ».

On en sait désormais plus sur l’origine de l’incendie. Selon Hacker News, un tuyau a éclaté à l'intérieur du centre de données dans la salle des onduleurs et a provoqué un incendie d’origine électrique. Ledit feu et eau a ensuite détruit une partie du centre de données. L’incendie a été confiné 2 heures plus tard mais la climatisation ne fonctionne pas. Ce n'est qu'aux alentours de 11h30 qu'elle a été rallumée, faisant baisser progressivement la température. Dans l’après-midi, les pompiers ont ensuite demandé la coupure du courant et le personnel n’avait pas l’autorisation d’entrer dans les bâtiments. Sur le forum La fibre.info, on apprend qu'à 15h19, l'incendie a été déclaré éteint mais les pompiers ne peuvent pas encore accéder à la salle des onduleurs/batteries du niveau 1 car la température à l’intérieur était à plus de 65°C. Les onduleurs/batteries qui ont brulés sont dédiés au niveau 1, les autres niveaux ne sont donc pas concernés. Un meeting de crise a eu lieu dans la foulée. Les points suivants en ressortent : pas de coupure planifiée sur PAR E (cooling/électricité), l’infrastructure technique est opérationnelle (clim, électricité, sparkshield, …). Tous les clients de Clichy 1 peuvent donc redémarrer leurs serveurs. Enfin, les niveaux L4, L5 et L6 sont accessibles pour les clients sous la supervision d'un accompagnant Global Switch. Le niveau L1 (onduleurs et MMR1) reste sous surveillance, seuls les sapeurs-pompiers sont autorisés à y pénétrer. Une situation difficile avec des répercussions importantes sur les clients. En effet, pour ajouter l'insulte à l'injure, Google Cloud gère plusieurs zones à partir du même bâtiment, mais avec différentes connexions d'alimentation/sauvegarde/internet à ces serveurs. Dans le cas présent, la catastrophe a impacté plusieurs zones, notamment europe et Paris (europe-west9).

Google avance à tâtons

Sur le fil d’actualité des incidents GCP, Google indique qu’à date, plusieurs services Google Cloud dans la région europe-west9 sont toujours impactés. « Il n'y a pas d'heure prévue pour la reprise complète des opérations dans la région europe-west9 à l'heure actuelle. Nous nous attendons à une interruption prolongée de certains services. Il est conseillé aux clients de basculer vers d'autres régions s'ils sont touchés ». Toutefois, les services suivants ont été entièrement rétablis dans la région europe-west9 : Google Cloud Storage (GCS) Cloud Key Management Service (KMS) Cloud Identity and Access Management (IAM) Google Kubernetes Engine (GKE). Reste que certains services ont été rétablis dans les zones europe-west9-b et europe-west9-c, mais continuent d'être affectés dans la zone europe-west9-a : Google Compute Engine (GCE) Cloud Run Google Cloud Load Balancer (GCLB) DataProc Cloud SQL

La console Cloud a par ailleurs subi une panne globale, qui a été atténuée. « Les tâches de gestion devraient être à nouveau opérationnelles pour les opérations en dehors de la région affectée (europe-west9) » affirme Google dans son suivi. GCE a connu le même sort, affectant dans le même temps les clients utilisant Global DNS (gDNS). La firme prévoit de fournir une mise à jour d'ici 16h ce jeudi 27 avril, ou en cas d'évolution significative.