Seit dem 08.09.2016 gegen 15:30 ist die Störung im Netz der Telefónica behoben.
—
Derzeit gibt es bei der Telefónica eine technische Störung, wodurch auch unsere Mobilfunkanschlüsse ein- und ausgehend teilweise eingeschränkt nutzbar sind. Da das Problem in einer von uns genutzten Komponente im Netz von Telefónica liegt, können wir nicht aktiv zur Verbesserung der Situation beitragen.
In der Regel vermeiden wir technische Abhängigkeiten genau aus diesem Grund und können so bei Problemen schnell reagieren. Vor allem bei den Mobilfunk-Komponenten, die direkt mit den Telefonen unserer Kunden kommunizieren, sind wir auf Vorleistungen von Telefónica angewiesen. Insofern sitzen wir aktuell im selben Boot wie unsere Kunden und können nur darauf warten, dass Telefónica die Störung behebt.
Im Folgenden möchten wir eine kurze Zusammenfassung des Verlaufs der Störung geben, um für mehr Klarheit zu sorgen.
24.08.2016:
Erste Kunden berichten über Probleme mit ausgehenden Anrufen. Oft wird mehr als ein Versuch benötigt.
Wir haben daraufhin die von unseren Kunden genannten Beispielanrufe untersucht und gesehen, dass diese nie in unserem System ankamen. Daraufhin haben wir ein Ticket bei der für uns zuständigen Störungsstelle von Telefónica eröffnet. Zusätzlich haben wir unseren Kunden über status.sipgate.de mitgeteilt, dass ein manueller Wechsel ins O2-Netz das Problem lösen könnte. Dies entsprach dem Feedback, welches wir von Kunden erhalten haben. Ob die “Lösung” eher Zufall war, wissen wir rückblickend nicht. Wir haben in den nächsten Tagen wiederholt bei Telefónica nachgefragt, aber keine Updates auf unser Ticket erhalten.
31.08.2016:
Die Meldungen bezüglich der eingeschränkten Funktionalität werden mehr. Es scheinen immer mehr Anrufe betroffen, dazu kommen Beschwerden bezüglich nicht signalisierter eingehender Anrufe.
Wir haben erneut gefordert, das bereits eine Woche alte Ticket höher zu priorisieren. Dies ist wohl auch passiert, als Reaktionszeit wurden uns 20 Werktage [sic!] zugesagt.
Für die eingehenden Anrufe haben wir in unseren Systemen gesehen, dass wir versucht haben, sie zuzustellen. Die Anrufe wurden aber direkt mit einem ungewöhnlichen Fehlercode abgewiesen. Da die Störungen aber zu dieser Zeit immer nur für kurze Zeiträume auftraten – und zu diesen Zeiten auf www.allestörungen.de auch Ausschläge für reguläre Eplus-Kunden zu sehen waren – haben wir für dieses Problem auf eine Störungsmeldung verzichtet.
02.09.2016:
Aufgrund nicht abreißender und immer mehr werdender Störungsmeldungen haben wir erneut unsere Systeme analysiert. Dass Telefónica anhaltend über mehrere Tage ein Problem hat, erschien uns unwahrscheinlich, vielleicht war es ja doch was bei uns?
Bei der Analyse haben wir gesehen, dass eines unserer Systeme aufgrund unerwarteter Vorfälle in der Kommunikation mit den Telefónica-Systemen fehlerhaft agierte. Deshalb wurden die schon bestehenden Probleme mit ausgehenden Gesprächen noch verstärkt. Dieses Problem konnten wir durch einen Neustart einer Signalisierungskomponente beheben. (In der Zwischenzeit haben wir einen Bugfix für die Komponente erhalten und eingespielt.)
Bezüglich der gestörten eingehenden Gesprächen konnten wir allerdings nur erneut feststellen, dass die von uns in Richtung Handy gesandten Gespräche direkt abgelehnt wurden. Also haben wir auch da eine Störung in Richtung Telefónica eröffnet, und gleichzeitig über verschiedene Kanäle erfolglos versucht, unsere offenen Tickets zu priorisieren.
05.09.2016:
Übers Wochenende haben wir zwar weniger Probleme in unseren Systemen gesehen, ganz weg waren sie allerdings nicht. Zum Wochenstart wurden sie dann wieder deutlich mehr. Deshalb haben wir direkt morgens jeden uns bekannten (und potenziell geeigneten) Kontakt bei Telefónica angerufen, um eine höhere Priorisierung zu erreichen. Und das ist uns schlussendlich auch gelungen. Ab dann wurde unser Ticket vom normalen Kundenservice in die Hände von Technikern gelegt, die sich ransetzten und auch schon bald Erkenntnisse hatten. Nachdem wir tagsüber noch keine Verbesserung feststellen konnten, wurde nachts das als Verursacher der Probleme ausgemachte System neugestartet, in der Hoffnung auf Normalisierung. Leider ohne Erfolg.
06.09.2016:
Nach erneutem Nachhaken wurde beim technischen Dienstleister von Telefónica eine Krisensitzung in oberster Ebene angesetzt. In der Folge wurde die ganze Nacht erneut analysiert und Hardware getauscht. Leider auch diesmal ohne durchschlagenden Erfolg. Nachdem in der Nacht alles gut aussah, zeigte sich “nach dem Aufwachen” der Kunden recht schnell, dass immer noch nicht wieder alle Gespräche vermittelt werden.
07.09.2016:
Am Morgen hat Telefónica festgestellt, dass das Problem weiterhin besteht. Es wurden weitere Analysearbeiten angestoßen, die auch Techniker im Rechenzentrum erfordern. Wir warten weiter auf neue Erkenntnisse, werden aber regelmäßig informiert.
[Update: 21:11]
Im Laufe des weiteren Abends (22:00 – 24:00) werden Konfigurationsmaßnahmen im Netz von Telefónica durchgeführt, die zu einer Verbesserung der Situation führen sollen.
08.09.2016:
Leider haben wir bis jetzt noch kein Update bekommen, ob die Maßnahmen erfolgreich waren.
[Update: 7:15]
aufgrund technischer Schwierigkeiten konnte Telefónica die Maßnahmen gestern abend nicht vornehmen. Der neue Termin ist heute zwischen 7:00 und 8:00.
[Update: 10:42]
Es werden weiterhin Maßnahmen (Softwaredowngrades, Leitungsüberprüfungen) an Komponenten durchgeführt, um das Problem zu lösen.
[Update: 11:50]
Wir hatten eine Telefonkonferenz mit Telefónica. Es wurde bestätigt, daß es eine Störung im Großraum Düsseldorf gibt, insbesondere der Komponenten auf denen wir redundant aufgeschaltet sind. Es wird einen Hardwaretausch geben und Teile des 2G-Eplus-Netzes werden im Großraum Düsseldorf temporär ausgeschaltet, so dass nur noch das O2-Netz (2G) verfügbar ist. Im 3G Netz werden in den nächsten 60 Minuten Veränderungen vorgenommen, um die telefonische Erreichbarkeit wiederherzustellen.
[Update: 14:38]
Nächste Telefonkonferenz ist für 14:45 geplant.
[Update: 16:28]
Seit 15:30 sollte die Störung von sipgate Kunden im Netz der Telefónica behoben sein. Defekte Baugruppen eines Mediagateways wurden getauscht und 3G Verkehr auf andere Gateways umgeroutet. Unser Monitoring sieht wieder gut aus. Wir atmen nun alle tief durch, entschuldigen uns erneut für die echt lange Störung und genießen nun den restlichen Sonnentag. Morgen klären wir dann mit Telefónica Details.
50 Kommentare
Mapstone:
Hallo, es ist sehr ärgerlich das Anrufe aktuell nicht ankommen und sofort die Mailbox anspringt. Ich bin Unternehmer und kann mir solche Ausfälle nicht leisten. Als Bestattungsunternehmen muss ich immer erreichbar sein. Es ärgert mich sehr das die Probleme mehrere Tage bestehen.
Markus:
Hallo Herr Mapstone, da wir selber auch betroffen sind, können wir Ihren Unmut sehr gut nachvollziehen. Wir und Telefonica arbeiten weiterhin mit Hochdruck an einer Lösung des Problems.
Marcel Müller:
Bei uns funktioniert das Mobiltelefon jetzt seit fast einer Woche nur noch sporadisch. Was bringt uns dann eine kulante Lösung wenn man für Interessierte und Kunden nicht erreichbar ist und Aufträge verliert die wahrscheinlich in keinem Verhältnis zu der zu erwartenden „Kulanz“ stehen. Ein paar Stunden Ausfall oder ein halben Tag kann man ja noch zähneknirschend hinnehmen aber eine Woche ist eine absolute Unverschämtheit.
Dominik:
Vielleicht können die Techniker der „Krisensitzung in oberster Ebene“ bei der Gelegenheit auch gleich den Schalter für LTE und das o2-GSM-Netz umlegen… Das ist nicht kulant, sondern längst überfällig!
Peter Bartsch:
Als Taxifahrer in einem ländlichen Gebiet erhält man seine Fahrgäste zu 95 Prozent per Telefon. Und wenn diese 95 Prozent vom Umsatz wegfallen…
Wenigstens gibt Sipgate ein paar spärliche Infos raus, die Netzbetreiber hüllen sich dagegen bis heute komplett in Schweigen und auf deren Netzabfrage-Seiten stand und steht permanent, das ihr Netz einwandfrei arbeite… Und Kundenmitteilungen werden überhaupt nicht beantwortet, geschweige denn mal bearbeitet.
Peter Fetsch:
Workaround, D1 Karte rein, Datenflat, Zoiper installieren, Howto gibts bei Sipgate, Fertig ist die Telefonie, und wenn Telefonica das in 2-3Wochen wieder hinbringt, ists auch gut.
Markus:
Guten morgen Dominik, leider gibt es für LTE nicht den einen Schalter, damit es läuft. Updates zu LTE gibt es hier im Blog.
Bzgl. 2G Roaming wird weiterhin das Problem gesucht.
Manfred:
Ich benutze meinen simquadrat geschäftlich. Seit zwei Wochen funktioniert der Anschluss nur noch gelegentlich, d.h. meine Kunden finden eine tote Leitung vor oder, wenn sie Glück haben, landen sie direkt auf meiner mailbox…Die ich selbst nicht abhören kann, denn hier gibt es meist nur ein Besetzzeichen.
Schnellstens beheben! Eine so lang andauernde Störung hab ich noch nie irgendwo erlebt!
Menz:
Leider bin ich auch betroffen von der Störung!
Bitte so schnell wie möglich beheben!
Lars:
ja das Problem liegt bei der Telefonica. Ich habe im Bekanntenkreis Leute die bei ALDI Talk sind und ebenfalls seit Tagen ihr Handy nur noch als Briefbeschwerer benutzen können.
Vielleicht ist Eure Entscheidung sich an O2 zu binden doch nicht so prickelnd, das Netz von Vodafone oder der Telekom wäre ganz klar besser als das pseudo Netz von O2 und ist auch der einzige absolute Negativ Punkt am dem ansonsten sehr guten Produkt von Sipgate.
Ich hoffe wenigstens das Sipgate heftig hohe Pönalen mit O2 ausgehandelt hat und bekommt – der zahlenden Flatratkunde von Simquadrat hat davon aber natürlich leider nichts.
Marietheres Mimberg:
Hm. Nicht gut. Wirklich nicht. Ich möchte nicht ins selbe Horn tuten und alles wiederholen. Sipgate ist in der Nutzung bei beruflichen Kundne, das sagt alles. Was mich sehr verärgert, ist, dass die Koppelung von Benachrichtigung und AB UND manchmal durchkommenden Anrufen nicht funktionieren kann! AB bleibt und muss an, einige Anrufe kommen durch. Weil er an ist und nicht durchkommende Anrufe sofort auf ihm landen, funktioniert die Benachrichtigung nicht! Da ja nicht verpasst… Kunden sprechen aber häufig nicht sofort drauf. Also Anruf im Nirwana. Was sagt eigentlich Telefonica zu Euch als Kunden oder Partner in Bezug auf Kundenorientiertheit?
Markus:
Guten morgen, wir und Telefonica arbeiten mit Hochdruck an einer Lösung.
Markus:
Hallo Manfred, das ist sehr ärgerlich. Bitte wende Dich an die simquadrat Kundenbetreuung. Telefonica arbeitet leider aktuell immer noch mit Hochdruck an der Lösung des Problems.
Markus:
Hallo Peter, wir würden gerne über mehr Details schreiben, leider erreichen uns diese auch sehr schleppend. Sobald es Neuigkeiten gibt, updaten wir hier den Blog.
Matthias:
Die tolle Integration der Mobilfunkteilnehmer in das Webinterface ist state-of-the-art. Deshalb haben wir seinerzeit zu Sipgate gewechselt. Leider hilft das ohne vernünftiges Netz im Hintergund nicht weiter.
Offensichtlich wird die Versorgung durch Telefonica/E+ seit Monaten immer schlechter.
Warum bietet Ihr nicht einfach eine vernünftige Möglichkeit zur Umleitung auf eine Mobilnummer meiner Wahl zu gedeckelten Kosten?
Dann kann ich das Mobilnetz wieder selbst wählen und Ihr habt auch keinen Ärger.
Sebastian:
Hallo Matthias, unsere sipgate Handys im team-Produkt sind ja viel mehr als eine schlichte Umleitung. Sie sind eine echte Nebenstelle in der Telefonanlage. Man kann vom Handy aus Durchwahlen wählen, man kann Anrufe des Kollegen „picken“, man kann die Komfortfeatures der Anlage nutzen, und wohl mit am wichtigsten kann man die Büronummer auch für Anrufe vom Handy als Absendernummer setzen. Das sind alles Funktionen, die mit einer Weiterleitung wegfallen würden. Und damit auch die Einzigartigkeit unseres sipgate team Produktes.
Marietheres Mimberg:
Hi und hallo! Mal ein Danke an Euch für Eure flotte und sehr nette Mailantwort!
Die ja schon fast ‚kabarettesk‘ war! Sie begann mit: Leider konnten wir Sie gerade telefonisch nicht erreichen.“
Ich musste wirklich lachen!
Großartig.
Eure Kundenkommunikation und -orientiertheit ist wirklich gut!
Mal ein Danke dafür.
Marietheres Mimberg:
Hi und hallo! Mal ein Danke an Euch für Eure flotte und sehr nette Mailantwort!
Die ja schon fast ‚kabarettesk‘ war! Sie begann mit: Leider konnten wir Sie gerade telefonisch nicht erreichen.“
Ich musste wirklich lachen!
Großartig.
Eure Kundenkommunikation und -orientiertheit ist wirklich gut!
Mal ein Danke dafür.
Matthias:
Hallo Sebastian,
Über die Vorzüge der Integration bin ich mir bewusst.
Leider bleibt es für mich zusehends Theorie.
PRO:
Kleiner Tipp an alle, meine Mitarbeiter und ich haben ihre Festnetznummer auf PrepaidHandys weitergeleitet, somit haben wir besten Empfang. Als Tipp: anonym anrufen oder die Rufnummer erklären ?