arrow-firstarrow-lastarrow-nextarrow-prevcheckmark2linear-belllinear-maillinear-usermenunotificationspinner4

Netzwerkstörung vom 22.07.2015

Defekter Core Router verursachte gravierende Netzwerkstörung

Eine defekte Baugruppe an einem der redundanten Core Router verursachte am Mittwoch, den 22. Juli 2015, in der Zeit von 15.26 Uhr bis 17.50 Uhr, eine teilweise bis vollständige Nichterreichbarkeit nach Aussen für eine Vielzahl der Systeme von hostfactory während bis zu drei Stunden.

Image: net2.png

Von der Störung ganz oder zumindest teilweise betroffen waren zahlreiche Virtual Shared Hosting Server, einige dedizierte Root Server (VPS), aber auch die Website www.hostfactory.ch und my.hostfactory.ch selbst. Während der gesamten Dauer der Störung waren jederzeit alle Systeme laufend, aber nach Aussen hin nicht erreichbar.

Die Netzarchitektur im gesamten Rechenzentrum ist zwar vollständig redundant gestaltet und auf höchste (99.99%) Verfügbarkeit ausgelegt, wobei unter Verwendung teils mehrfach geschachtelter Protokolle ein Maximum an Fehlertoleranz geplant wurde. Leider lassen sich aber nur Situationen konzeptionell abfangen, welche tatsächlich vorhersehbar sind. - Im konkreten, gestrigen Fall allerdings verhielt sich eine Netzwerkkomponente, beziehungsweise eine ganze Baugruppe völlig unerwartet und entgegen jeder Dokumentation. Daher konnten die implementierten Abfangmechanismen nicht greifen und das Verhalten wurde unkontrollierbar, später vollständig fehlerhaft. Der Defekt führte zu einem abnormalen Verhalten und hatte dadurch schwerwiegende Auswirkungen auf die Forwarding- und Routingfunktion, welches sich schliesslich auch auf die weiteren, redundanten Core-Rotuer repliziert hat.

Der Fehler konnte inzwischen vollständig analysiert und beseitigt werden: die betroffene Baugruppe wurde vollständig ausgetauscht. Eine weitere, tiefergehende Analyse des Defektes wird gemeinsam mit dem Komponentenhersteller im Verlauf der nächsten Tage durchgeführt, so dass ein wiederholung gleicher oder ähnlicher Störungen in Zukunft möglichst augeschlossen werden kann.

Wir sind uns vollumfänglich bewusst, dass derartige Vorkommnisse für alle Beteiligten höchst unangenehm sind - entsprechend möchten wir uns bei Ihnen für diese breite Störung in aller Form entschuldigen! Leider sind wir nicht in der Lage zu versichern, dass sich ein derartiger Vorfall unter keinen Umständen wiederholen kann, jedoch aber versprechen wir Ihnen, jederzeit unser bestmögliches zu tun, um derartiges tunlichst zu vermeiden.

Für weitere Fragen in dieser Sache kontaktieren Sie bitte bei bedarf unseren Helpdesk.

4 Kommentare

  • Tom Blum
    Antworten
    Solche Störungen sind trotz aller Sicherheitsvorkehrungen leider nie vollkommen auszuschliessen, denn eine 100%ige Sicherheit gibt es nicht.

    Ein grosses Kompliment gebührt eurer offenen Kommunikationspolitik. Das ist wirklich sehr vorbildlich.

    Herzlichen Dank!

    Schöne Grüsse,
    Tom
  • Tom Hardegger
    Antworten
    Wenn der Core-Router redundant war, warum führte sein Ausfall dann zu einem Totalausfall?

    Leider war die Kommunikationspolitik nicht ganz so vorbildlich. Vom Zeitpunkt als ich den Ausfall bemerkte, dauerte es über eine halbe Stunde, bis hostfactory auf Twitter eine Antwort gab. Leider war auch die Status-Seite nicht erreichbar.

    Viele Grüsse
    Tom
    • Hostfactory
      Antworten
      Den genauen Fehlervorgang können Sie dem obigen Text entnehmen.

      Im Fehlerfall sind unsere Mitarbeiter primär auf die Fehlerbehebung aus, um die Unterbruchszeit so gering wie möglich zu halten. Alle Tweets wurden dennoch in unter 30 Minuten beantwortet.

      Mit freundlichen Grüssen
  • Livio Son
    Antworten
    Nun ist die Infrastruktur für 3 Stunden nicht erreichbar und schon bricht für alle die Welt zusammen. Und wird einmal etwas nicht innerhalb einer Minutenfrist beantwortet, regt man sich schon auf. Geht Mal rauch spazieren. Das hilft sicher.
    Ich finde, Hostfactory hat eine gute Kommunikationspolitik und sic machen einen guten Job!

Kommentar hinzufügenAntwort hinzufügen

Ihre E-Mail-Adresse wird nicht veröffentlicht.