Infos zur Mobilfunkstörung im Netz von Telefónica

Seit dem 08.09.2016 gegen 15:30 ist die Störung im Netz der Telefónica behoben.

—

Derzeit gibt es bei der Telefónica eine technische Störung, wodurch auch unsere Mobilfunkanschlüsse ein- und ausgehend teilweise eingeschränkt nutzbar sind. Da das Problem in einer von uns genutzten Komponente im Netz von Telefónica liegt, können wir nicht aktiv zur Verbesserung der Situation beitragen.

In der Regel vermeiden wir technische Abhängigkeiten genau aus diesem Grund und können so bei Problemen schnell reagieren. Vor allem bei den Mobilfunk-Komponenten, die direkt mit den Telefonen unserer Kunden kommunizieren, sind wir auf Vorleistungen von Telefónica angewiesen. Insofern sitzen wir aktuell im selben Boot wie unsere Kunden und können nur darauf warten, dass Telefónica die Störung behebt.

Im Folgenden möchten wir eine kurze Zusammenfassung des Verlaufs der Störung geben, um für mehr Klarheit zu sorgen.

24.08.2016:

Erste Kunden berichten über Probleme mit ausgehenden Anrufen. Oft wird mehr als ein Versuch benötigt.

Wir haben daraufhin die von unseren Kunden genannten Beispielanrufe untersucht und gesehen, dass diese nie in unserem System ankamen. Daraufhin haben wir ein Ticket bei der für uns zuständigen Störungsstelle von Telefónica eröffnet. Zusätzlich haben wir unseren Kunden über status.sipgate.de mitgeteilt, dass ein manueller Wechsel ins O2-Netz das Problem lösen könnte. Dies entsprach dem Feedback, welches wir von Kunden erhalten haben. Ob die “Lösung” eher Zufall war, wissen wir rückblickend nicht. Wir haben in den nächsten Tagen wiederholt bei Telefónica nachgefragt, aber keine Updates auf unser Ticket erhalten.

31.08.2016:

Die Meldungen bezüglich der eingeschränkten Funktionalität werden mehr. Es scheinen immer mehr Anrufe betroffen, dazu kommen Beschwerden bezüglich nicht signalisierter eingehender Anrufe.

Wir haben erneut gefordert, das bereits eine Woche alte Ticket höher zu priorisieren. Dies ist wohl auch passiert, als Reaktionszeit wurden uns 20 Werktage [sic!] zugesagt.

Für die eingehenden Anrufe haben wir in unseren Systemen gesehen, dass wir versucht haben, sie zuzustellen. Die Anrufe wurden aber direkt mit einem ungewöhnlichen Fehlercode abgewiesen. Da die Störungen aber zu dieser Zeit immer nur für kurze Zeiträume auftraten – und zu diesen Zeiten auf www.allestörungen.de auch Ausschläge für reguläre Eplus-Kunden zu sehen waren – haben wir für dieses Problem auf eine Störungsmeldung verzichtet.

02.09.2016:

Aufgrund nicht abreißender und immer mehr werdender Störungsmeldungen haben wir erneut unsere Systeme analysiert. Dass Telefónica anhaltend über mehrere Tage ein Problem hat, erschien uns unwahrscheinlich, vielleicht war es ja doch was bei uns?

Bei der Analyse haben wir gesehen, dass eines unserer Systeme aufgrund unerwarteter Vorfälle in der Kommunikation mit den Telefónica-Systemen fehlerhaft agierte. Deshalb wurden die schon bestehenden Probleme mit ausgehenden Gesprächen noch verstärkt. Dieses Problem konnten wir durch einen Neustart einer Signalisierungskomponente beheben. (In der Zwischenzeit haben wir einen Bugfix für die Komponente erhalten und eingespielt.)

Bezüglich der gestörten eingehenden Gesprächen konnten wir allerdings nur erneut feststellen, dass die von uns in Richtung Handy gesandten Gespräche direkt abgelehnt wurden. Also haben wir auch da eine Störung in Richtung Telefónica eröffnet, und gleichzeitig über verschiedene Kanäle erfolglos versucht, unsere offenen Tickets zu priorisieren.

05.09.2016:

Übers Wochenende haben wir zwar weniger Probleme in unseren Systemen gesehen, ganz weg waren sie allerdings nicht. Zum Wochenstart wurden sie dann wieder deutlich mehr. Deshalb haben wir direkt morgens jeden uns bekannten (und potenziell geeigneten) Kontakt bei Telefónica angerufen, um eine höhere Priorisierung zu erreichen. Und das ist uns schlussendlich auch gelungen. Ab dann wurde unser Ticket vom normalen Kundenservice in die Hände von Technikern gelegt, die sich ransetzten und auch schon bald Erkenntnisse hatten. Nachdem wir tagsüber noch keine Verbesserung feststellen konnten, wurde nachts das als Verursacher der Probleme ausgemachte System neugestartet, in der Hoffnung auf Normalisierung. Leider ohne Erfolg.

06.09.2016:

Nach erneutem Nachhaken wurde beim technischen Dienstleister von Telefónica eine Krisensitzung in oberster Ebene angesetzt. In der Folge wurde die ganze Nacht erneut analysiert und Hardware getauscht. Leider auch diesmal ohne durchschlagenden Erfolg. Nachdem in der Nacht alles gut aussah, zeigte sich “nach dem Aufwachen” der Kunden recht schnell, dass immer noch nicht wieder alle Gespräche vermittelt werden.

07.09.2016:

Am Morgen hat Telefónica festgestellt, dass das Problem weiterhin besteht. Es wurden weitere Analysearbeiten angestoßen, die auch Techniker im Rechenzentrum erfordern. Wir warten weiter auf neue Erkenntnisse, werden aber regelmäßig informiert.

[Update: 21:11]

Im Laufe des weiteren Abends (22:00 – 24:00) werden Konfigurationsmaßnahmen im Netz von Telefónica durchgeführt, die zu einer Verbesserung der Situation führen sollen.

08.09.2016:

Leider haben wir bis jetzt noch kein Update bekommen, ob die Maßnahmen erfolgreich waren.

[Update: 7:15]

aufgrund technischer Schwierigkeiten konnte Telefónica die Maßnahmen gestern abend nicht vornehmen. Der neue Termin ist heute zwischen 7:00 und 8:00.

[Update: 10:42]

Es werden weiterhin Maßnahmen (Softwaredowngrades, Leitungsüberprüfungen) an Komponenten durchgeführt, um das Problem zu lösen.

[Update: 11:50]

Wir hatten eine Telefonkonferenz mit Telefónica. Es wurde bestätigt, daß es eine Störung im Großraum Düsseldorf gibt, insbesondere der Komponenten auf denen wir redundant aufgeschaltet sind. Es wird einen Hardwaretausch geben und Teile des 2G-Eplus-Netzes werden im Großraum Düsseldorf temporär ausgeschaltet, so dass nur noch das O2-Netz (2G) verfügbar ist. Im 3G Netz werden in den nächsten 60 Minuten Veränderungen vorgenommen, um die telefonische Erreichbarkeit wiederherzustellen.

[Update: 14:38]

Nächste Telefonkonferenz ist für 14:45 geplant.

[Update: 16:28]

Seit 15:30 sollte die Störung von sipgate Kunden im Netz der Telefónica behoben sein. Defekte Baugruppen eines Mediagateways wurden getauscht und 3G Verkehr auf andere Gateways umgeroutet. Unser Monitoring sieht wieder gut aus. Wir atmen nun alle tief durch, entschuldigen uns erneut für die echt lange Störung und genießen nun den restlichen Sonnentag. Morgen klären wir dann mit Telefónica Details.