[Mise à jour le mardi 30 mars 2021 à 19h49] Après la remise en service vendredi 26 mars d'un premier datacenter (SBG4) sur son site de Strasbourg suite à l'incendie qui a touché le campus le 10 mars dernier, OVHCloud entre dans une nouvelle phase. A l'heure où nous écrivons ces lignes 95% des serveurs bare metal et des serveurs privés virtuels sont opérationnels sur SBG3 et 91% des instances Public Cloud . Mais l'offre Hosted Private Cloud est toujours en cours de redémarrage progressif sur SBG3.

Suite à un premier incendie le 10 mars qui a détruit un des datacenters d'OVHCloud à Strasbourg et endommagé un second, un nouveau feu a pris vendredi 19 mars à 19h sur l'implantation. Il s'est déclaré au sein d'un conteneur hors tension du centre de données Strasbourg 1 (SBG 1), faisant office de local de stockage de batteries. 300 batteries de 25 kg ont été impactées. "Aucun blessé n'est à déplorer parmi les équipes d'OVHcloud ou de ses partenaires. Deux personnes de la sécurité ayant été incommodées par les fumées ont été examinées par des professionnels de santé", précise le groupe. L'incendie a été rapidement maitrisé par les pompiers. Mobilisant 130 personnes, les opérations visant à remettre les infrastructures en production suite au premier incendie ont été interrompues pour la nuit. L'alimentation de SBG 1 dont les serveurs étaient en cours de redémarrage, a été coupée par mesures de précaution. Dans la foulée, OVHCloud a annoncé que tous les serveurs SBG 1 seront finalement déplacés sur d'autres datacenters situés sur le site de Strasbourg, ou sur ses campus de Gravelines et Roubaix, avec un passage par son usine de Croix pour être dépollués suite au dégagement de fumée. Une décision qui a semble-t-il été prise en lien avec son assureur. L'origine de ce nouvel incident est pour l'heure indéterminée.

OVH avait commencé dans la nuit du 17 mars à rebooter progressivement les machines encore fonctionnelles sur Strasbourg 3 et 4 après vérification de l'état de chacune. L'entreprise fournit une console pour suivre en temps réel le redémarrage de chaque serveur.

Le 22 mars, la Cnil a publié sur son site web une note le lundi 22 mars. Son titre est sans équivoque : "Incendie OVH : faut-il notifier à la CNIL ?" . Dans ce document, la commission rappelle qu'une notification est nécessaire "si des données personnelles ont été définitivement perdues ou si elles sont restées indisponibles suffisamment longtemps, de telle sorte que cela a engendré un risque pour les personnes." Elle ajoute : "Si la violation est susceptible d'engendrer des risques élevés pour les personnes, celles-ci doivent également être directement informées par le responsable de traitement." L'information intervient alors qu'un grand nombre de serveurs n'ont pas encore été relancés par OVH suite au premier incendie qui s'est déclaré sur son campus alsacien le 10 mars dernier, et que beaucoup de backups de données sont irrécupérables

Six mois offerts en cas de perte de données

Le 22 mars dans l'après-midi, Octave Klaba a posté une troisième vidéo sur Twitter pour faire le point sur la situation. Le PDG indique que 5000 serveurs ont été livrés depuis l'incident. Ils sont mis à la disposition des clients impactés sans frais pendant plusieurs mois. "Nous assemblons actuellement 450 serveurs par jour dans notre usine de Croix. L'objectif étant d'en construire 15 000 dans les trois à quatre prochaines semaines pour compenser entièrement les machines détruites", précise Octave Klaba.

Concernant l'enquête en cours sur l'incendie, le CEO insiste sur le nombre d'intervenants : police judiciaire, BEA, assureurs, experts indépendants, huissiers… "Cette enquête va prendre plusieurs mois. Nous en partagerons évdemment toutes les conclusions", insiste le PDG. Mais Octave Klaba entend tirer les enseignements du sinistre sans attendre. "Nous avons décidé de créer un laboratoire pour travailler sur les différents cas de départ de feu au sein d'un datacenter, sur la capacité des portes et cloisons à maintenir le feu, et sur les méthodes d'extinction les plus efficaces selon les cas de figure. Nous comptons publier ces méthodes en open source pour en faire bénéficier le maximum d'entreprises".

Dans une vidéo précédente diffusée le 16 mars, Octave Klaba avait indiqué que les clients bénéficieront de trois mois gratuits en cas d'une coupure de service et de six mois gratuit en cas de perte de données. 

L'offre Private Cloud touchée en plein cœur

Le groupe a dressé un état des lieux des sauvegardes de données non-récupérables ou en cours d'investigation en fonction du centre de données utilisé et du service souscrit (voir le tableau ci-dessous qui liste les backups perdus pour les services qui n'ont pas redémarré). Une information cruciale pour permettre à ses clients de restaurer leur site web et autres applications cloud sans attendre. Principale surprise : au sein de SBG1, l'offre de cloud privé d'OVH (Private Cloud) était hébergée dans une salle, et son backup dans une autre salle du même datacenter. Les deux ont été détruites dans l'incendie. A moins d'avoir pris la précaution de mettre en œuvre un second backup chez un autre provider, les données sont donc perdues. 

Rappelons que la solution Private Cloud est historiquement positionnée sur le haut de gamme. Par ailleurs, 20% des sauvegardes des VPS/PCI basés sur l'infrastructure alsacienne d'OVH sont aussi parties en fumée. Les clients dont les backups font partie de ses 20% n'ont plus qu'à espérer que leur(s) serveur(s) privé(s) virtuel(s) ont été épargnés (lire l'article Comment réagir si mon site web est impacté par l'incendie d'OVH ?).

De nombreux backups irrécupérables

La facturation a par ailleurs été suspendue à la date de l'incendie pour tous les clients utilisant les services sur les les datacentres d'OVH à Strasbourg. En attendant leur remise en service, des infrastructures alternatives leur sont proposées gratuitement (serveur bare metal, Hosted Private Cloud et Public Cloud) sur les centres de données du groupe à Roubaix et Gravelines. OVH a par ailleurs mis en ligne un questions-réponses à destination de ses clients pour leur permettre de faire face à la stuation. 

Le feu aurait pris dans un onduleur

Le PDG du groupe, Octave Klaba, a pris la parole une première fois sur Twitter le 11 mars à 18h. Une vidéo de 8 minutes dans laquelle il revient sur les circonstances de l'événement. Le CEO présente ses excuses aux clients et promet qu'un tel événement ne se reproduira pas. Voici ce qu'il faut retenir :

  • L'incendie a pris dans le datacenter SBG2 qui a été entièrement détruit. Les alertes incendie ont bien fonctionnées. Mais le feu s'est répandu trop rapidement pour permettre aux agents sur site d'intervenir. 
  • OVH communiquera dans 48h la situation de chaque client en termes de backup, sachant que dans certains cas les sauvegardes peuvent être stockées sur un même datacenter.
  • OVH met à disposition des clients impactés des ressources alternatives (serveurs dédiés, Public Cloud, Private Cloud) dans ses datacenters de Roubaix et de Gravelline.
  • Le rythme de fabrication dans l'usine d'OVHCloud à Croix va passer à 2500-3000 serveurs par jour pour répondre à la demande. 
  • Les caméras thermiques des pompiers arrivés sur place 15mn après la première alerte ont détecté deux onduleurs en feu au sein de SBG2, dont l'un avait fait l'objet d'interventions le jour même dans la matinée avant d'avoir été remis en service dans l'après-midi. 
  •  SBG2 repose sur une technologie qui remonte à 2011. Il s'agit d'une tour autoventilée qui fonctionne par la différence de pression entre le haut et le bas de l'édifice.  De génération 2016, SBG3 repose sur une technologie qui a évité son embrasement.
  • OVH compte utiliser les vidéos des 300 caméras de surveillance de son site de Strasbourg pour retracer l'historique de l'incendie, comprendre précisément ce qui s'est passé en vue d'en tirer tous les enseignements.

Un déflagration pour la  French Tech

Suite à l'incendie qui s'est déclaré dans la nuit du 9 au 10 mars sur le site d'OVHCloud à Strasbourg, 3,6 millions de serveurs HTTP représentant 464 000 noms de domaines se sont retrouvés hors ligne. Le chiffre est publié par Netcraft, spécialiste américain du monitoring d'Internet. "Plus de 18% des adresses IP attribuées à OVH dans notre dernière Web Server Survey publiée il y a deux semaines ne répondaient plus le 10 mars entre 7h et 8h du matin", indique Netcraft. De son côté, Downdetector recensait au même moment plusieurs centaines de rapports d'erreur. OVHCloud évoque quant à lui 12 000 à 16 000 clients touchés. Alors que les GAFAM pénètrent l'Europe avec une force concurrentielle sans merci, c'est une véritable déflagration pour la French Tech dont l'image va de facto se ternir. Son porte-flambeau a subi la plus importante catastrophe industrielle de son histoire.

Le datacenter Strasbourg 2 (SBG2) du cloud français a été entièrement ravagé par les flammes. Du côté du SBG1, quatre salles serveurs ont été détruites. Huit ont échappé à l'incendie, ainsi que les salles réseau. Les serveurs de SBG3 n'ont pas non plus été touchés. Par mesure de précaution, l'électricité a été coupée sur l'ensemble du site, ce qui impacte SBG3 ainsi que SBG4. 

Un communiqué de presse a également été diffusé par l'entreprise :  "Ce mercredi 10 mars 2021, à 00h47, un incendie s'est déclaré dans une salle d'un de nos quatre datacentres strasbourgeois, SBG2. Nous précisons que le site ne fait pas l'objet d'une classification Seveso. Les pompiers sont immédiatement intervenus sur site afin de protéger les équipes et limiter la progression de l'incendie. Ils ont ainsi procédé à l'isolation complète du site et de son périmètre dès 2h54.  À 4h09, le feu a détruit SBG2 et continuait de présenter des risques pour les datacentres voisins jusqu'à ce que les pompiers prennent le contrôle complet de l'incendie." Le PDG d'OVHCloud a immédiatement recommandé à tous ses clients d'activer le "Disaster Recovery Plan". 

115 pompiers mobilisés

L'implantation d'OVHCloud à Strabourg est situé sur un ancien site du sidérurgiste ArcelorMittal dans le quartier du Port du Rhin. Mobilisant 115 pompiers, 43 véhicules, six lances-canons et deux échelles, l'incendie a finalement été circonscrit aux alentours de 5h30 du matin le 10 mars. "Des moyens opérationnels ont également été mobilisés par les autorités allemandes", souligne  la préfecture du Bas-Rhin dans un communiqué. Les quelques collaborateurs présents sur site ont rapidement été pris en charge par les pompiers. 

Aux côtés de SBG2 qui a été entièrement détruit, le datacenter SBG1 aura donc été largement touché. "Les pompiers ont pu protéger SBG3. Pas d'impact sur SBG4 ", a tweeté Octave Klaba. 

SBG2, le datacenter où le feu s'est déclaré, compte cinq étages et s'étend sur un total de 1900 m2. Les flammes sont montées à plusieurs dizaines de mètres. Inauguré en 2012, il possède une capacité de 14 000 serveurs. Il abrite une partie de la très stratégique offre Hosted Private Cloud ciblant les grands clients d'OVHCloud. Cette solution d'IaaS basée sur la technologie de virtualisation de  VMware est entièrement infogéree par les équipes du groupe. SBG2 héberge également des serveurs dédiés utilisés par de nombreux sites web français.

S'exprimant sur Twitter, certains clients ayant omis de faire une sauvegarde de leurs données se retrouvent en grande difficulté. Ils n'ont plus qu'à espérer que leur(s) serveur(s) aient été épargnés par l'incendie. C'est le cas du jeu Rust, ou encore du cabinet d'huissiers Leroi & Associés qui indique avoir perdu ses mails suite à l'incendie. A l'image de ce cabinet, de nombreux utilisateurs issus de presque toutes les régions de France s'inquiétaient le 10 mars sur le forum de Downdetector de l'impossibilité d'accéder à leur messagerie chez OVH. Le service de Mail du groupe a été remis en service le 11 mars à 1h22 du matin.

Des conséquences qui démontrent l'importance de souscrire à un service de sauvegarde sur un datacenter situé sur une autre géographie, voire chez un autre provider pour pallier les pannes qui pourraient affecter tous les centres de données du fournisseur, tel un crash réseau se répercutant par richochet à tous les services. 

Un plan de reprise d'activité est en train d'être déployé. Au programme : la remise en service de l'alimentation électrique du datacenter SBG3 (de 20 KV), mais aussi celles de SBG4 (de 240 KV). Une salle réseau temporaire a été mis en place pour le SBG5. Enfin, le raccordement en fibre optique aux datacenters d'OVHCloud de Paris et Frankfurt a d'ores et déjà été contrôlé et n'a pas été touché par l'incendie.

De multiples sites web touchés

On relève évidemment de nombreux sites touchés : data gouv (qui a depuis été remis en ligne), les sites d'Esri France, du Centre Pompidou à Paris, du CREPS Rhône-Alpes, de la Fédération des Médecins de France, de Génération 5, du Kiosque So Press, de l'Office de tourisme de Colmar… De multiples annonces sont faites sur le réseau social.

Nos confrères des DNA ont également recensés les sites suivants : ceux de l'aéroport de Strasbourg, de l'ENT (espace numérique de travail) ONE & NEO à Sarreguemines, de la ville de Cherbourg, du comité d'entreprise de Peugeot-Sochaux, de la brasserie Meteor, du site de réservation de scooters électriques Cityscoot (en région parisienne), de la ville de Vichy, du club de rugby de Clermont-Ferrand, du site de l'UPR (le parti politique de François Asselineau), du stade de Caen, de l'office de tourisme de Saverne, celui de Recyclivre, de l'université populaire européenne. A noter que des sites allemands, italiens, espagnols, polonais ou turcs sont aussi touchés par la panne.

BFM cite de son côté les sites et services suivants : ceux des villes d'Arras ou de Saint-Ouen, plusieurs médias, dont Le Nouveau détective et Front populaire, le média lancé par Michel Onfray. Le site Internet de la chaîne évoque également des clubs sportifs, dont l'ASM Rugby, l'US Créteil Handball ou encore l'AS Saint-Priest.

Un système anti-incendie peu efficace

Reste à savoir si le système anti-incendie déployé dans les datacenters d'OVH à Strasbourg a bien fonctionné. Un dispositif de détection des feux y est bien installé, et des exercices anti-incendie y sont réalisés tous les 6 mois. Mais les premières flammes qui se sont déclarées au sein du datacenter SBG2 ont-elles été identifiées par ce système ? Les procédures prévues ont-elles été correctement mises en œuvre ? Au-delà de ces questions, une certitude demeure : Les centres de données d'OVHCloud à Strasbourg ne sont pas dotés de réseaux d'extinction. Ils ne sont pas équipés de gicleurs d'eau comme c'est le cas dans les datacenters d'OVHCloud à Beauharnois au Canada, ni de brumisateurs haute pression permettant de résorber les flammes tout en protégeant les machines contre l'eau, ni de gaz inerte, à l'instart de la plupart des datacenters du marché. Des gaz qui ont pour vocation de vider les salles serveurs de leur oxygène pour étouffer l'incendie en évitant là-encore de causer des dégâts aux équipements. 

L'information intervient alors qu'OVHCloud a annoncé ce 9 mars son intention d'entrée en bourse. Octave Klaba et sa famille entendent néanmoins conserver la majorité des actions suite à l'opération.




Source link