Mardi 28 Février 2006 - Coupure du réseau

Rubrique d'information générale du réseau IRCube

Message par JoKeR » Mar Fév 28, 2006 7:31 pm

Voici le mail reçu du Datacenter quant aux problèmes de coupures de cet après-midi :

\"Datacenter\" a écrit :Très Cher Client
Il y a 1 heure 30 environ, l'intégralité de la fourniture électrique du Data Center Redbus Interhouse, dans lequel, comme beaucoup d'hébergeurs, nous avons nos infrastructures, a été privé d'électricité, entrainant la rupture d'approvisionnement de toutes les infrastructures qu'il héberge.
Parmi ces infrastructures se trouvent bien sûr les notres et les votres, soit plus de 1300 serveurs et dizaines d'équipements réseau, qui se sont donc retrouvés dans le noir pour la partie qui nous concerne.
Après environ 15 minutes de coupure, le courant est reparti pour quelques minutes et à sauté à nouveau.
La situation semble s'être désormais stabilisée, et nos équipes sont en train de redémarrer progressivement l'intégralité des infras.
Nous n'avons pas d'information quand à cette coupure générale à l'heure actuelle un Data Center en général, et Redbus en particulier étant conçu pour ne pas connaitre, normalement, ce type d'incident, des UPS et Générateurs étant présents pour servir de fourniture de secours en cas de rupture de l'approvisionnement général.
Quelque chose n'a pas du fonctionner dans la chaine de secours, et nous vous tiendrons informé dès que nous aurons nous même obtenu les informations quand aux causes et conséquences de cet incident.
Je reviens donc vers vous très rapidement avec plus d'information.

Tout semble revenu à la normale.
[url=http://ircube.org/users/viewprofile/JoKeR``/][img]http://ircube.org/webmasters/status/joker``.png[/img][/url]
Avatar de l’utilisateur
JoKeR
Equipe IRCube
 
Message(s) : 698
Inscription : Mar Oct 25, 2005 11:26 am

Message par Dam » Mar Fév 28, 2006 10:45 pm

le second mail, avec la suite des informations :
Très Cher Client

Redbus nous a informé qu'une erreur humaine, lors d'une maintenance,
était à l'origine de l'incident qui a entrainé la coupure électrique
de l'ensemble de leur batiment.

Depuis 16 heures 30, la quasi intégralité des machines et services ont
été relancés, mais il reste encore actuellement une bonne vingtaine
de serveurs qui ne sont toujours pas opérationnels.

Plus de 1200 serveurs ont été redémarrés et vérifiés par notre staff
en moins de 2 heures, et pour ceux qui restent, le problème peut-être lié
soit à un composant hardware qui n'a pas supporté l'interruption, soit à
un problème de lilo non relancé suite à une mise à jour noyau, soit à un
problème système prééexistant que le redémarrage aura mis en évidence.

Si vous êtes de ceux-là, soyez persuadé que tout est fait pour que
votre serveur redémarre le plus vite possible.

N'hésitez pas à vérifier dans votre fiche client, sur http://sivit.fr/fr/admin,
que votre numéro de téléphone est bien à jour, ou bien rapprochez vous du
support à l'adresse support-dedies@sivit.fr, afin que, en cas de besoin, nous
soyons à même de pouvoir vous contacter.

Je reviens vers vous dès que j'ai plus d'informations à vous apporter, et
nous ferons de toute façon un bilan, à tête reposée, de cet événement.
Avatar de l’utilisateur
Dam
NoLife
 
Message(s) : 813
Inscription : Lun Oct 24, 2005 3:07 pm

Message par Embryon » Mar Fév 28, 2006 11:40 pm

J'en connais un qui va devoir aller pointer à l'ANPE d'ici peu ... :)
Image
Embryon
Equipe IRCube
 
Message(s) : 545
Inscription : Lun Oct 24, 2005 11:40 pm

Message par tiot » Mer Mars 01, 2006 1:43 pm

...et pour longtemps.
tiot
Disjoncté
 
Message(s) : 172
Inscription : Jeu Oct 27, 2005 8:01 pm

Message par Dam » Dim Mars 26, 2006 4:36 pm

Et encore une aujourd'hui.
Cause similaire.

Très Cher Client,

Je n'arrive pas à croire que je doit vous faire de nouveau
part de cette information.

Redbus vient de connaitre un nouvel incident électrique
généralisé, entrainant l'arret brutal et total de la fourniture
électrique de tous leurs clients, parmis lesquels Sivit et des
dizaines d'autres hébergeurs, qui font confiance à ce site
pour l'installation de leur data center.

De ce fait, l'immeuble ayant été totalement éteint, nous nous
retrouvons à nouveau avec plus de 1300 serveurs et équipements
à redémarrer, ce qui est en cours, tout le staff Sivit ayant répondu
présent et s'étant jetté dans la bataille.

Le courant a été coupé vers 10h45, et est revenu vers 12 heures.

Nous n'avons à l'heure actuelle aucune information sur ce nouvel
incident, et nous concentrons sur le redémarrage de toutes vos machines.

Nous vous tiendrons bien évidemment informé en temps réel, au fur et
à mesure que des informations nous parviendront.

Sincèrement,

Plus d'informations à venir.
Avatar de l’utilisateur
Dam
NoLife
 
Message(s) : 813
Inscription : Lun Oct 24, 2005 3:07 pm

Message par Cesar » Dim Mars 26, 2006 4:53 pm

Et encore une de 14h45 à 16h...

Des micro coupures EDF semblent avoir fait sauter le disjoncteur, qui aurait mal réagit, et les UPS n'ont pas tenu le temps que les générateurs se lancent. Ils ont fini par se lancer, puis ça redisjoncter à 14h45.

On est toujours sur les générateurs, les UPS viennent d'être mis en charge, EDF interviendra vers 18h.
Selon le niveau des UPS, le retour sur l'alim EDF pourra provoquer une nouvelle coupure.

Pour *rire* : http://www.redbus.fr/services/services.htm
100% garantie!
Cesar
Equipe IRCube
 
Message(s) : 329
Inscription : Lun Oct 24, 2005 6:09 pm

Message par Embryon » Dim Mars 26, 2006 7:08 pm

Vraiment lamentable !
Image
Embryon
Equipe IRCube
 
Message(s) : 545
Inscription : Lun Oct 24, 2005 11:40 pm

Message par Cesar » Dim Mars 26, 2006 7:12 pm

Une troisième a eu lieu de 17h à 18h30...

Le datacenter fonctionne toujours sur les 3 générateurs, les UPS ne sont pas chargés, l'alim EDF est toujours suspendue.

Une réparation peut être demain, donc en attendant prions que les générateurs ne faiblissent pas...
Cesar
Equipe IRCube
 
Message(s) : 329
Inscription : Lun Oct 24, 2005 6:09 pm

Message par Shmolt » Dim Mars 26, 2006 7:52 pm

Ils tournent sur des onduleurs là? Les serveurs???!

Shmolt
Avatar de l’utilisateur
Shmolt
PanZani
 
Message(s) : 533
Inscription : Lun Jan 09, 2006 10:11 am
Localisation : Grenoble / Nancy

Message par Dam » Dim Mars 26, 2006 7:55 pm

LOL
un onduleur permet uniquement de laisser le temps à l'utilisateur de sauvegarder ses données.
Donc, 20 à 30 minutes grand maximum d'autonomie (et encore !!)

Non, ils tournent sur un générateur electrique de secours
Avatar de l’utilisateur
Dam
NoLife
 
Message(s) : 813
Inscription : Lun Oct 24, 2005 3:07 pm

Message par Cesar » Dim Mars 26, 2006 7:56 pm

Les générateurs ! C'est à dire des groupes électrogènes fonctionnant au diesel (combien ont ils de réserve ? :/)
Les onduleurs sont des batteries (actuellement quasi vides) qui servent à tenir le temps (jusqu'à 30min) que les générateurs soient opérationnels.. (oui un diesel faut que ça chauffe)
Cesar
Equipe IRCube
 
Message(s) : 329
Inscription : Lun Oct 24, 2005 6:09 pm

Message par Shmolt » Dim Mars 26, 2006 8:50 pm

Oui je sais ce qu'est un onduleur, c'est un peu "mon métier" (comment ça le diplome n'est pas très valorisant :d)

Je me demandais juste ce que vous appeliez "générateurs", j'ai pas pensé aux groupes^^

Shmolt, pourvu que ça tienne alors :)

Ps ceci dit, les onduleurs que j'ai utilisés n'avait meme pas une demie heure d'autonomie, 5 minutes à peine :/
Dernière édition par Shmolt le Dim Mars 26, 2006 8:54 pm, édité 1 fois.
Avatar de l’utilisateur
Shmolt
PanZani
 
Message(s) : 533
Inscription : Lun Jan 09, 2006 10:11 am
Localisation : Grenoble / Nancy

Message par GrEaT » Dim Mars 26, 2006 8:53 pm

Petit résumé via ikoula :

Cher client,

Redbus Interhouse, Data Center où sont situés nos équipements dont votre solution d'hébergement a connu aujourdh'ui une crise électrique majeure.

- 10h55 : Une coupure EDF touche tout l'ouest parisien dont le bâtiment de Redbus Interhouse à Courbevoie. Tout le monde est dans le noir.
- 10h15 : L'équipe Ikoula d'astreinte sur site est renforcée. Effectif à 100% pour parrer à toute éventualité
- 11h54 : L'électricité revient. Tous les équiprements d'Ikoula, dont votre service, remontent immédiatement. Tout est 100% fonctionnel.

Redbus n'a pas encore expliqué le temps anormal de coupure d'une heure.

- 14h32 : 2e coupure électrique générale
- 15h16 : L'électricité revient mais, la situation est instable

Conséquences des incidents :
- Le bâtiement fonctionne sur deux générateurs (le 3e est apparement cassé)
- Les onduleurs sont vides
- Le dijoncteur principal (EDF) est cassé, rendant la bascule sur le courant EDF impossible
- Une bascule sur le courant EDF engendrera une nouvelle coupure
- La situation est extrêment instable

Ikoula a pris la décision de ne pas rallumer ses équipements. Les machines supportent très mal les coupures électriques brutales. Le risque de dommage est élevé. Un disque dur cassé peut signifier la perte de données et des heures pour que vous puissiez le remettre opérationnel à 100%.
Nous avons pris le parti de privilégier vos données et votre temps plutôt que de remonter aussi vite que possible pour gagner quelques minutes.

Nous avons eu raison.

- 17h01 : 3e coupure générale
- 17h05 : L'électricité revient
- 18h00 : Redbus nous informe que l'intervention sur le dijoncteur principal n'aura pas lieu ce soir. La situation est cependant plus stable
- 18h30 : Nous rallumons tous nos équipements dont votre solution d'hébergement
L'équipe Ikoula est toujours au complet pour vosu aider à remonter vos services à la normal si besoin.

ATTENTION :
L'intervention sur le dijoncteur aura lieu demain. Afin de préserver les machines, vos données et votre travail, nous éteindrons tous nos équipements avant celle-ci. Nous vous préviendrons avant bien entendu. D'ici là, nous vous engageons à procéder à toutes les sauvegardes nécessaires.

Nous vous présentons nos excuses pour la gêne occasionnée et vous remercions pour votre confiance.
Nous vous tiendrons informé de l'évolution de la situation.

Cordialement,

Arnaud Tayac
Relation Clients
Image
Image
GrEaT
Intéressé
 
Message(s) : 7
Inscription : Dim Mars 26, 2006 8:52 pm

Message par JoKeR » Dim Mars 26, 2006 9:24 pm

Cesar, tu peux faire une news pour l'expliquer sur le site ?
[url=http://ircube.org/users/viewprofile/JoKeR``/][img]http://ircube.org/webmasters/status/joker``.png[/img][/url]
Avatar de l’utilisateur
JoKeR
Equipe IRCube
 
Message(s) : 698
Inscription : Mar Oct 25, 2005 11:26 am

Message par kouak » Lun Mars 27, 2006 6:36 pm

Quand la maintenance sera définitivement terminée aux alentours de 22H, je m'en occuperai.

Il va y avoir encore une coupure vers 19H30/19H45. Le serveur koneko devrait cependant être accessible, tous les utilisateurs qui se connectent à ircube sont envoyés automatiquement sur ce serveur.
Image
Avatar de l’utilisateur
kouak
Equipe IRCube
 
Message(s) : 481
Inscription : Lun Oct 24, 2005 2:26 pm
Localisation : Reims

Suivant

Retour vers Informations générales

Qui est en ligne ?

Utilisateur(s) parcourant ce forum : Aucun utilisateur inscrit et 10 invité(s)

cron