[Mise à jour le vendredi 12 mars 2021 à 23h50] Suite à l'incendie qui s'est déclaré dans la nuit du 9 mars sur le site d'OVHCloud à Strasbourg, un des quatre datacenters du campus (SBG2) a été entièrement ravagé par les flammes. Un deuxième (SBG1) est partiellement endommagé : quatre de ses douze salles serveurs ont été détruites. Par mesure de précaution, l'électricité a été coupée sur toute l'implantation, impactant par ricochet les deux datacenters restant (SBG3 et SBG4). OVHCloud prévoit de relancer progressivement les infrastructures et serveurs encore fonctionnels d'ici le 21 mars (voir feuille de route). En attendant, le groupe a dressé un état des lieux de la disponibilité des sauvegardes réalisées en fonction du centre de données utilisé et du service souscrit (voir tableau ci-dessous). Une information cruciale pour permettre à ses clients de restaurer leur site web et autres applications cloud sans attendre. Principal surprise : au sein de SBG1, l'offre de cloud privé d'OVH (Private Cloud) était hébergée dans une salle, et son backup dans une autre salle du même datacenter. Les deux ont été détruites dans l'incendie. A moins d'avoir pris la précaution de mettre en œuvre un second backup chez un autre provider, les données sont donc perdues. Rappelons que la solution Private Cloud est historiquement positionnée sur le haut de gamme. Par ailleurs, 20% des sauvegardes des VPS/PCI basés sur l'infrastructure alsacienne d'OVH sont aussi parties en fumée. Les clients dont les backups font partie de ses 20% n'ont plus qu'à espérer que leur(s) serveur(s) privé(s) virtuel(s) ont été épargnés (lire l'article Comment réagir si mon site web est impacté par l'incendie d'OVH ?). 

Un plan de redémarrage progressif

OVHCloud a dévoilé vendredi 12 mars au matin le plan de redémarrage des centres de données de son campus alsacien. Un plan qui a été publié par Octave Klaba, son PDG, sur Twitter (voir le tableau ci-dessous). OVH a par ailleurs mis en ligne un questions-réponses à destination de ses clients.

Octave Klaba prend la parole sur Twitter

Le PDG du groupe, Octave Klaba, a pris la parole sur Twitter le 11 mars à 18h. Une vidéo de 8 minutes dans laquelle il revient sur les circonstances de l'événement. Le CEO présente ses excuses aux clients et promet qu'un tel événement ne se reproduira pas. Voici ce qu'il faut retenir :

• L'incendie a pris dans le datacenter SBG2 qui a été entièrement détruit. Les alertes incendie ont bien fonctionnées. Mais le feu s'est répandu trop rapidement pour permettre aux agents sur site d'intervenir. 
• Les infrastructures encore opérationnelles (une partie de SBG1, SBG3 et SBG4) et leurs services associés commenceront à être remis en service la semaine prochaine.
• OVH communiquera dans 48h la situation de chaque client en termes de backup, sachant que dans certains cas les sauvegardes peuvent être stockées sur un même datacenter.
• OVH met d'ores et déjà à disposition des clients impactés des ressources alternatives (serveurs dédiés, Public Cloud, Private Cloud) dans ses datacenters de Roubaix et de Gravelline. 2000 serveurs ont déjà été livrés dans ce cadre, 1000 de plus sont sur le point de l'être.
• Le rythme de fabrication dans l'usine d'OVHCloud à Croix va passer à 2500-3000 serveurs par jour pour répondre à la demande. 
• Les caméras thermiques des pompiers arrivés sur place 15mn après la première alerte ont détecté deux onduleurs en feu au sein de SBG2, dont l'un avait fait l'objet d'interventions le jour même dans la matinée avant d'avoir été remis en service dans l'après-midi. 
•  SBG2 repose sur une technologie qui remonte à 2011. Il s'agit d'une tour autoventilée qui fonctionne par la différence de pression entre le haut et le bas de l'édifice.  De génération 2016, SBG3 repose sur une technologie qui a évité son embrasement.
• OVH compte utiliser les vidéos des 300 caméras de surveillance de son site de Strasbourg pour retracer l'historique de l'incendie, comprendre précisément ce qui s'est passé en vue d'en tirer tous les enseignements.

Un déflagration pour la  French Tech

Suite à l'incendie qui s'est déclaré dans la nuit du 9 au 10 mars sur le site d'OVHCloud à Strasbourg, 3,6 millions de serveurs HTTP représentant 464 000 noms de domaines se sont retrouvés hors ligne. Le chiffre est publié par Netcraft, spécialiste américain du monitoring d'Internet. "Plus de 18% des adresses IP attribuées à OVH dans notre dernière Web Server Survey publiée il y a deux semaines ne répondaient plus le 10 mars entre 7h et 8h du matin", indique Netcraft. De son côté, Downdetector recensait au même moment plusieurs centaines de rapports d'erreur. OVHCloud évoque quant à lui 12 000 à 16 000 clients touchés. Alors que les GAFAM pénètrent l'Europe avec une force concurrentielle sans merci, c'est une véritable déflagration pour la French Tech dont l'image va de facto se ternir. Son porte-flambeau a subi la plus importante catastrophe industrielle de son histoire.

Le datacenter Strasbourg 2 (SBG2) du cloud français a été entièrement ravagé par les flammes. Du côté du SBG1, quatre salles serveurs ont été détruites. Huit ont échappé à l'incendie, ainsi que les salles réseau. Les serveurs de SBG3 n'ont pas non plus été touchés. Par mesure de précaution, l'électricité a été coupée sur l'ensemble du site, ce qui impacte SBG3 ainsi que SBG4. 

OVH prévoit de redémarrer SBG1 d'ici le 19 mars, puis de rallumer les serveurs pièce par pièce après audit. Même feuille de route pour SBG4. Pour SBG3, le coup d'envoi sera donné plus tôt, d'ici le 17 mars. "Sur nos datacenters de Roubaix et Gravelines, nous disposons d'un stock de nouveaux serveurs prêts à être délivrés à l'ensemble des clients touchés. Evidemment gratuitement.  Nous acheminerons 10 000 serveurs dans les trois à quatre prochaines semaines", indique OVH. Le groupe propose par ailleurs aux clients impactés des ressources au sein de ses datacenters de Roubaix et Gravelines, et ce "sans frais pendant plusieurs mois". "Pour répondre à la demande, nous avons déployé des chaînes de montage supplémentaires pour multiplier par 3 notre capacité de fabrication de serveurs dans notre usine de Croix", complète OVH

Un communiqué de presse a également été diffusé par l'entreprise :  "Ce mercredi 10 mars 2021, à 00h47, un incendie s'est déclaré dans une salle d'un de nos quatre datacentres strasbourgeois, SBG2. Nous précisons que le site ne fait pas l'objet d'une classification Seveso. Les pompiers sont immédiatement intervenus sur site afin de protéger les équipes et limiter la progression de l'incendie. Ils ont ainsi procédé à l'isolation complète du site et de son périmètre dès 2h54.  À 4h09, le feu a détruit SBG2 et continuait de présenter des risques pour les datacentres voisins jusqu'à ce que les pompiers prennent le contrôle complet de l'incendie." Le PDG d'OVHCloud a immédiatement recommandé à tous ses clients d'activer le "Disaster Recovery Plan". 

115 pompiers mobilisés

L'implantation d'OVHCloud à Strabourg est situé sur un ancien site du sidérurgiste ArcelorMittal dans le quartier du Port du Rhin. Mobilisant 115 pompiers, 43 véhicules, six lances-canons et deux échelles, l'incendie a finalement été circonscrit aux alentours de 5h30 du matin le 10 mars. "Des moyens opérationnels ont également été mobilisés par les autorités allemandes", souligne  la préfecture du Bas-Rhin dans un communiqué. Les quelques collaborateurs présents sur site ont rapidement été pris en charge par les pompiers. 

Aux côtés de SBG2 qui a été entièrement détruit, le datacenter SBG1 aura donc été largement touché. "Les pompiers ont pu protéger SBG3. Pas d'impact sur SBG4 ", a tweeté Octave Klaba. 

SBG2, le datacenter où le feu s'est déclaré, compte cinq étages et s'étend sur un total de 500m2. Les flammes sont montées à plusieurs dizaines de mètres. Inauguré en 2012, il possède une capacité de 12 000 serveurs. Il abrite une partie de la très stratégique offre Hosted Private Cloud ciblant les grands clients d'OVHCloud. Cette solution d'IaaS basée sur la technologie de virtualisation de  VMware est entièrement infogéree par les équipes du groupe. SBG2 héberge également des serveurs dédiés utilisés par de nombreux sites web français.

S'exprimant sur Twitter, certains clients ayant omis de faire une sauvegarde de leurs données se retrouvent en grande difficulté. Ils n'ont plus qu'à espérer que leur(s) serveur(s) aient été épargnés par l'incendie. C'est le cas du jeu Rust, ou encore du cabinet d'huissiers Leroi & Associés qui indique avoir perdu ses mails suite à l'incendie. A l'image de ce cabinet, de nombreux utilisateurs issus de presque toutes les régions de France s'inquiétaient le 10 mars sur le forum de Downdetector de l'impossibilité d'accéder à leur messagerie chez OVH. Le service de Mail du groupe a été remis en service le 11 mars à 1h22 du matin.

Des conséquences qui démontrent l'importance de souscrire à un service de sauvegarde sur un datacenter situé sur une autre géographie, voire chez un autre provider pour pallier les pannes qui pourraient affecter tous les centres de données du fournisseur, tel un crash réseau se répercutant par richochet à tous les services. 

Un plan de reprise d'activité est en train d'être déployé. Au programme : la remise en service de l'alimentation électrique du datacenter SBG3 (de 20 KV), mais aussi celles de SBG1 et de SBG4 (de 240 KV). Une salle réseau temporaire a été mis en place pour le SBG5. Les équipements nécessaires à sa mise en œuvre devaient arriver sur le site dans la matinée du 11 mars. Enfin, le raccordement en fibre optique aux datacenters d'OVHCloud de Paris et Frankfurt a d'ores et déjà été contrôlé et n'a pas été touché par l'incendie.

De multiples sites web touchés

On relève évidemment de nombreux sites touchés : data gouv (qui a depuis été remis en ligne), les sites d'Esri France, du Centre Pompidou à Paris, du CREPS Rhône-Alpes, de la Fédération des Médecins de France, de Génération 5, du Kiosque So Press, de l'agence Resoneo, de l'Office de tourisme de Colmar… De multiples annonces sont faites sur le réseau social.

Nos confrères des DNA ont également recensés les sites suivants : ceux de l'aéroport de Strasbourg, de l'ENT (espace numérique de travail) ONE & NEO à Sarreguemines, de la ville de Cherbourg, du comité d'entreprise de Peugeot-Sochaux, de la brasserie Meteor, du site de réservation de scooters électriques Cityscoot (en région parisienne), de la ville de Vichy, du club de rugby de Clermont-Ferrand, du site de l'UPR (le parti politique de François Asselineau), du stade de Caen, de l'office de tourisme de Saverne, celui de Recyclivre, de l'université populaire européenne. A noter que des sites allemands, italiens, espagnols, polonais ou turcs sont aussi touchés par la panne.

BFM cite de son côté les sites et services suivants : ceux des villes d'Arras ou de Saint-Ouen, plusieurs médias, dont Le Nouveau détective et Front populaire, le média lancé par Michel Onfray. Le site Internet de la chaîne évoque également des clubs sportifs, dont l'ASM Rugby, l'US Créteil Handball ou encore l'AS Saint-Priest.

Un système anti-incendie peu efficace

Reste à savoir si le système anti-incendie déployé dans les datacenters d'OVH à Strasbourg a bien fonctionné. Un dispositif de détection des feux y est bien installé, et des exercices anti-incendie y sont réalisés tous les 6 mois. Mais les premières flammes qui se sont déclarées au sein du datacenter SBG2 ont-elles été identifiées par ce système ? Les procédures prévues ont-elles été correctement mises en œuvre ? Au-delà de ces questions, une certitude demeure : Les centres de données d'OVHCloud à Strasbourg ne sont pas dotés de réseaux d'extinction. Ils ne sont pas équipés de gicleurs d'eau comme c'est le cas dans les datacenters d'OVHCloud à Beauharnois au Canada, ni de brumisateurs haute pression permettant de résorber les flammes tout en protégeant les machines contre l'eau, ni de gaz inerte, à l'instart de la plupart des datacenters du marché. Des gaz qui ont pour vocation de vider les salles serveurs de leur oxygène pour étouffer l'incendie en évitant là-encore de causer des dégâts aux équipements. 

L'information intervient alors qu'OVHCloud a annoncé ce 9 mars son intention d'entrée en bourse. Octave Klaba et sa famille entendent néanmoins conserver la majorité des actions suite à l'opération.

Source link