Seit dem 08.09.2016 gegen 15:30 ist die Störung im Netz der Telefónica behoben.
—
Derzeit gibt es bei der Telefónica eine technische Störung, wodurch auch unsere Mobilfunkanschlüsse ein- und ausgehend teilweise eingeschränkt nutzbar sind. Da das Problem in einer von uns genutzten Komponente im Netz von Telefónica liegt, können wir nicht aktiv zur Verbesserung der Situation beitragen.
In der Regel vermeiden wir technische Abhängigkeiten genau aus diesem Grund und können so bei Problemen schnell reagieren. Vor allem bei den Mobilfunk-Komponenten, die direkt mit den Telefonen unserer Kunden kommunizieren, sind wir auf Vorleistungen von Telefónica angewiesen. Insofern sitzen wir aktuell im selben Boot wie unsere Kunden und können nur darauf warten, dass Telefónica die Störung behebt.
Im Folgenden möchten wir eine kurze Zusammenfassung des Verlaufs der Störung geben, um für mehr Klarheit zu sorgen.
24.08.2016:
Erste Kunden berichten über Probleme mit ausgehenden Anrufen. Oft wird mehr als ein Versuch benötigt.
Wir haben daraufhin die von unseren Kunden genannten Beispielanrufe untersucht und gesehen, dass diese nie in unserem System ankamen. Daraufhin haben wir ein Ticket bei der für uns zuständigen Störungsstelle von Telefónica eröffnet. Zusätzlich haben wir unseren Kunden über status.sipgate.de mitgeteilt, dass ein manueller Wechsel ins O2-Netz das Problem lösen könnte. Dies entsprach dem Feedback, welches wir von Kunden erhalten haben. Ob die “Lösung” eher Zufall war, wissen wir rückblickend nicht. Wir haben in den nächsten Tagen wiederholt bei Telefónica nachgefragt, aber keine Updates auf unser Ticket erhalten.
31.08.2016:
Die Meldungen bezüglich der eingeschränkten Funktionalität werden mehr. Es scheinen immer mehr Anrufe betroffen, dazu kommen Beschwerden bezüglich nicht signalisierter eingehender Anrufe.
Wir haben erneut gefordert, das bereits eine Woche alte Ticket höher zu priorisieren. Dies ist wohl auch passiert, als Reaktionszeit wurden uns 20 Werktage [sic!] zugesagt.
Für die eingehenden Anrufe haben wir in unseren Systemen gesehen, dass wir versucht haben, sie zuzustellen. Die Anrufe wurden aber direkt mit einem ungewöhnlichen Fehlercode abgewiesen. Da die Störungen aber zu dieser Zeit immer nur für kurze Zeiträume auftraten – und zu diesen Zeiten auf www.allestörungen.de auch Ausschläge für reguläre Eplus-Kunden zu sehen waren – haben wir für dieses Problem auf eine Störungsmeldung verzichtet.
02.09.2016:
Aufgrund nicht abreißender und immer mehr werdender Störungsmeldungen haben wir erneut unsere Systeme analysiert. Dass Telefónica anhaltend über mehrere Tage ein Problem hat, erschien uns unwahrscheinlich, vielleicht war es ja doch was bei uns?
Bei der Analyse haben wir gesehen, dass eines unserer Systeme aufgrund unerwarteter Vorfälle in der Kommunikation mit den Telefónica-Systemen fehlerhaft agierte. Deshalb wurden die schon bestehenden Probleme mit ausgehenden Gesprächen noch verstärkt. Dieses Problem konnten wir durch einen Neustart einer Signalisierungskomponente beheben. (In der Zwischenzeit haben wir einen Bugfix für die Komponente erhalten und eingespielt.)
Bezüglich der gestörten eingehenden Gesprächen konnten wir allerdings nur erneut feststellen, dass die von uns in Richtung Handy gesandten Gespräche direkt abgelehnt wurden. Also haben wir auch da eine Störung in Richtung Telefónica eröffnet, und gleichzeitig über verschiedene Kanäle erfolglos versucht, unsere offenen Tickets zu priorisieren.
05.09.2016:
Übers Wochenende haben wir zwar weniger Probleme in unseren Systemen gesehen, ganz weg waren sie allerdings nicht. Zum Wochenstart wurden sie dann wieder deutlich mehr. Deshalb haben wir direkt morgens jeden uns bekannten (und potenziell geeigneten) Kontakt bei Telefónica angerufen, um eine höhere Priorisierung zu erreichen. Und das ist uns schlussendlich auch gelungen. Ab dann wurde unser Ticket vom normalen Kundenservice in die Hände von Technikern gelegt, die sich ransetzten und auch schon bald Erkenntnisse hatten. Nachdem wir tagsüber noch keine Verbesserung feststellen konnten, wurde nachts das als Verursacher der Probleme ausgemachte System neugestartet, in der Hoffnung auf Normalisierung. Leider ohne Erfolg.
06.09.2016:
Nach erneutem Nachhaken wurde beim technischen Dienstleister von Telefónica eine Krisensitzung in oberster Ebene angesetzt. In der Folge wurde die ganze Nacht erneut analysiert und Hardware getauscht. Leider auch diesmal ohne durchschlagenden Erfolg. Nachdem in der Nacht alles gut aussah, zeigte sich “nach dem Aufwachen” der Kunden recht schnell, dass immer noch nicht wieder alle Gespräche vermittelt werden.
07.09.2016:
Am Morgen hat Telefónica festgestellt, dass das Problem weiterhin besteht. Es wurden weitere Analysearbeiten angestoßen, die auch Techniker im Rechenzentrum erfordern. Wir warten weiter auf neue Erkenntnisse, werden aber regelmäßig informiert.
[Update: 21:11]
Im Laufe des weiteren Abends (22:00 – 24:00) werden Konfigurationsmaßnahmen im Netz von Telefónica durchgeführt, die zu einer Verbesserung der Situation führen sollen.
08.09.2016:
Leider haben wir bis jetzt noch kein Update bekommen, ob die Maßnahmen erfolgreich waren.
[Update: 7:15]
aufgrund technischer Schwierigkeiten konnte Telefónica die Maßnahmen gestern abend nicht vornehmen. Der neue Termin ist heute zwischen 7:00 und 8:00.
[Update: 10:42]
Es werden weiterhin Maßnahmen (Softwaredowngrades, Leitungsüberprüfungen) an Komponenten durchgeführt, um das Problem zu lösen.
[Update: 11:50]
Wir hatten eine Telefonkonferenz mit Telefónica. Es wurde bestätigt, daß es eine Störung im Großraum Düsseldorf gibt, insbesondere der Komponenten auf denen wir redundant aufgeschaltet sind. Es wird einen Hardwaretausch geben und Teile des 2G-Eplus-Netzes werden im Großraum Düsseldorf temporär ausgeschaltet, so dass nur noch das O2-Netz (2G) verfügbar ist. Im 3G Netz werden in den nächsten 60 Minuten Veränderungen vorgenommen, um die telefonische Erreichbarkeit wiederherzustellen.
[Update: 14:38]
Nächste Telefonkonferenz ist für 14:45 geplant.
[Update: 16:28]
Seit 15:30 sollte die Störung von sipgate Kunden im Netz der Telefónica behoben sein. Defekte Baugruppen eines Mediagateways wurden getauscht und 3G Verkehr auf andere Gateways umgeroutet. Unser Monitoring sieht wieder gut aus. Wir atmen nun alle tief durch, entschuldigen uns erneut für die echt lange Störung und genießen nun den restlichen Sonnentag. Morgen klären wir dann mit Telefónica Details.
50 Kommentare
Kurz:
Vor 1 1/2 Jahren gingen wir zu „sipgate team mobilfunk“ und alles war gut. (Bis auf die mangelnde Datenversorgung, in den meisten Bereichen nur 2G) Ein Festnetzanschluss war nicht mehr erforderlich. Dann kam O2 mit ins Spiel und alles wurde schlechter. Seit Februar betteln wir um eine bessere Versorgung mit Netz. Wie es eben vorher war. Aber irgendwann kam auch vom Support nichts mehr zurück. Routings, hausintern, zu „sipgate Basic“ legen die Telefonateinträge in „mein sipgate“ lahm. Was ist das denn, hausintern??? Mittlerweile haben wir uns zusätzlich wieder D1 angeschafft. Nun haben wir Kosten, die nicht erforderlich wären würde sipgate das liefern was bis Feb. 16 auch funktioniert hat. Unsere Kunden haben wieder 100.000 verschiedene Rufnummern von uns usw. Trägt man ein Anliegen an den Support ran, wird erst immer mal die Hardware und der Kunde in Verdacht gebracht. Ewige hin und her Mailerei folgt. Die ganze „sipgate Sache“ entwickelt sich so was von negativ. Meine Mitarbeiter liegen mir ständig in den Ohren. Meine Kunden erreichen unsere Firma immer schlechter. Welchen Grund gibt es, bei so einer Verschlechterung weiter bei sipgate zu bleiben? Alles spricht von IT und Digitalisierung. Solange kein Ausfallszenario zur Verfügung steht das binnen Sekunden den Dienst „Telefonieren“ wieder zur Verfügung stellt, ist das so nicht Tragbar. Wir machen IT für die Automobilindustrie und Co. Glaubt jemand die warten, bis wir wieder erreichbar sind? Es wäre schön „proaktiv“ informiert zu werden. Also: Probleme bei sipgate oder den sipgate „Zulieferern“ –> Mail an alle Kunden !!!
Matthias Urlichs:
Meinst du wirklich, die Telekomik ließe sich darauf ein, einen Konkurrenten auf ihr Netz aufzuschalten, der ein so viel besseres Businessmodel hat als sie selber? :-P
Daniel:
Macht doch ein Produkt daraus. Parallelruf und eine Lösung für Callthrough. Das E-Netz macht aktuell wirklich keine Freude. Dann komme ich lieber mit einer Mobilfunknummer beim angerufenen an, als garnicht.
Markus:
Vielen Dank für die offene Kommunikation an alle sipgate-Mitarbeiter. Wenn Telefónica Mist baut, kann bei sipgate niemand etwas dafür. Genauso wenig, wenn Telefónica irgendwo sein Mobilfunknetz umbaut und sich dadurch der Empfang verschlechtert – die Vorzüge von sipgate liegen woanders.
Bebbi:
Naja, ob andere Netzbetreiber schneller wären bei der Fehlersuche? Es wird ja nicht nur 3 mögliche Fehlerquellen geben.
Kai:
Vielleicht sollte dieser Ausfall Anlass sein, den Service-Vertrag zwischen Sipgate und Telefonica nachzuverhandeln. STICHWORT Reaktionszeiten bei Ausfällen. Hier auf normale Hotlines aufzulaufen und alle Hebel in Bewegung setzen zu müssen, um an richtige Techniker zu bewegen kann nicht die beste Lösung sein! Als MNVO ruft man ja nicht bei seinem Netzpartner an, weil man nicht weiß wie man eine Rufumleitung programmiert oder dergleichen! Und gerade, weil die Probleme wohl nicht immer so trivial und schnell zu identifizieren sind braucht es hier direkten Zugriff auf kompetente Techniker des Netzpartners!
Olaf Ristau:
Gerade mal wieder getestet ob ich nun ins 2G von O2 komme, siehe da es geht heute (gestern ging es noch nicht)
PLZ-Gebiet 38159
Michael Hierweck:
Bei allem Respekt: Hier stimmt meiner Ansicht nach etwas ganz übel etwas hinsichtlich SLA bzgl. Telefonica nicht. Es beginnt beim Auflaufen auf einer normalen Hotline und manifestiert sich bei zugesagter Reaktionszeit von 20 Tagen. Ich würde erwarten, dass Sipgate bei Telefonica zugesicherte Reaktionszeiten von 15 bis max. 30 Minuten hat. Denn wir sprechen über Reaktions- nicht über Lösungszeiten und es hängen wie viele Privat- und wie viele Geschäftskunden daran? Erwarten würde ich, dass man als Reaktionszeit 15 Min. und als Lösungszeit für überregionale Probleme max. 4 Stunden vereinbart und es danach für Telefonica sehr teuer wird, damit die Motivation auch von Beginn an passt. Und ja, ich weiß, dass das Geld kostet. Die aktuelle Lösung sieht ja anscheinend folgendermaßen aus: Das Netz fällt für alle Sipgate-Kunden aus und Telefonica fängt nach ungefähr drei Wochen an, sich das mal locker, flockig anzusehen.
Torsten:
Wäre es nicht vielleicht möglich, einen VOIP-Zugriff auf den simquadrat-Anschluss zu schalten (das technische Wissen und Infrastruktur dafür sollte doch vorhanden sein)? Dann könnte man wenigstens die (sonst verpassten) Anrufe zuhause mit der Fritzbox annehmen.
Sven Bublitz:
Liebe Sipgate-Mitarbeiter, ihr seid super! Ich nutze mit meinem Unternehmen Euren Service sehr gerne.
Wenn es nun mal ein Problem gibt, stehen wir das schon gemeinsam durch.
Danke für Euer Engagement – ohne Euch wäre unsere Telefonie weitaus unflexibler!
Thorsten:
Bei allem Ärger den der Ausfall verursachte…ich musste herzlich über die Vorstellung einiger hier lachen.
Meint ihr tatsächlich das Telefonica, als einer der größten Netzbetreiber europaweit -wenn nicht sogar weltweit- sich von einem im Verhältnis recht kleinen Serviceprovider derartig Druck machen lässt und sich da Lösungszeiten von 4 ( ich musste mehrfach schauen aber ja er schrieb vier) Stunden aufdrängen lässt?
Telefonica ist mittlerweile im Mobilfunk Deutschlands größter Anbieter und auch im Festnetz nicht klein. Daneben im restlichen Europa ebenfalls vorn dabei. Die lassen sich von einem Unternehmen in der Größe aus Deutschland ganz sicher weder Zeiten vorgeben noch mit finanziellen Drohungen einschüchtern.
Ja man sollte versuchen Dinge zu lösen aber wenn, dann sollte man die Objektivität nicht völlig untergehen lassen.
Sipgate hat informiert und sicher alles versucht was ging, die sind doch sicher auch nicht blöd und wissen garantiert besser als einige hier was vertraglich bei Telefonica geht und was eben Geduld braucht.
Alles unzufriedenstellend aber eben nicht zu ändern.
Thorsten:
Kann man doch meines Wissens ganz ohne Probleme eh schon immer oder habe ich jetzt das Problem falsch verstanden.
Es gab bei Sipgate ja Anfangs nur VoiP Anschlüsse und erst später wurden die Handys integriert.
Ich kann aber festlegen das alle meine Anrufe auf eine bestimmte Nummer eben nicht auf dem Mobilfunkanschluss sondern auf einer Festnetznummer landen. Dort sind die VoiP Zugangsdaten doch hinterlegt.
Carl Ulrich Kümmeke:
Geht Sipgate schon wieder nicht. Bin seit ein paar Tagen Kunde bei Ihnen. Es ging allessuper ich bekam meine Simkarte am Dienstag steckte sie ins Handy aktivierte sie im Web suchte mir noch eine Festnetznummer aus und konnte mich sofort anrufen Top dann war der Ausfall gestern Nachmittag ging es wieder und heute morgen wieder nicht obwohl mein O2 Handy von 1&1 volle Leistung hat???
Manfred Braun:
Seit heute Internet und Netz an einem Ort wo es noch nie zuvor funktioniert hat! Was habt ihr bitte seit gestern Abend / heute Morgen gemacht?
raimerik:
Moin!
‚Schön‘, dass ich heute über TelTarif (!) darüber informiert worden bin, dass ‚Seit über zwei Wochen‘ bestehende Probleme bei meinem MobilFunkAnbieter nunmehr beseitigt sein sollen.
Ich bin nicht mehr ungläubig, sondern fassungslos.
Dass bei SimQuadrat gerne gebastelt und versprochen wird, ohne zu liefern (LTE wurde schon 2014 angekündigt, 2G-Roaming soll seit Mai funktionieren…) – damit habe ich mich arrangiert.
Was hier exemplarisch aber in Sachen mangelhafter Vertragsaushandlung, Verantwortungsübernahme, Lösungsorientierung und KundenKommunikation abgeliefert worden ist, kann nur als Lehrbuchbeispiel für mangelhafte Prozesse dienen:
1) Vertragsaushandlung mit Telefonica + Verantwortungsübernahme:
24.08.2016: ‚Probleme mit ausgehenden Anrufen‘ >>> ‚Ticket bei der für uns zuständigen Störungsstelle von Telefónica eröffnet‘
31.08.2016: ’nicht signalisierte eingehende Anrufe‘ >>> ‚Ticket höher priorisiert‘ = 20 Werktage (?!)
05.09.2016: ‚jeden uns bekannten (und potenziell geeigneten) Kontakt bei Telefónica angerufen, um eine höhere Priorisierung zu erreichen.‘ >>> ‚Ab dann wurde unser Ticket vom normalen Kundenservice in die Hände von Technikern gelegt‘
08.09.2016: gegen 15:30 ist die Störung im Netz der Telefónica behoben.
Heißt also, dass Telefonica das Problem in drei Tagen beseitigt hat, SimQuadrat aber vom 23.8. bis 5.9. gebraucht hat, um die o2-Techniker aktiviert zu bekommen. Wow.
Zur Verantwortungsübernahme:
‚Da das Problem in einer von uns genutzten Komponente im Netz von Telefónica liegt, können wir nicht aktiv zur Verbesserung der Situation beitragen.‘
Doch. Siehe nächster Punkt!
2) Lösungsorientierung + KundenOrientierung und -Kommunikation:
Wo blieb in den über zwei Wochen (! – Probleme seit 23.8. / BlogEintrag erst 7.9. / Problemlösung 8.9.) eine eMail von SimQuadrat/sipgate an ALLE Kunden mit einem Hinweis über die bestehenden Beeinträchtigungen mit Aufforderung, die Funktionalität beim eigenen Anschluss zu überprüfen (und Feedback zu geben => Webumfrage: Mein Anschluss hat auch Probleme: ja/nein)?
Verbunden mit Lösungsvorschlägen?
– Rufumleitungen auf Nicht-Telefonica-Anschluss einrichten >>> kostenlos schalten / Angebot der Kostenerstattung
– VoIP-Funktion bei simquadrat reaktivieren?
– Benachrichtungen über nicht zugestellte Anrufversuche per eMail anbieten?
(31.8.: ‚Für die eingehenden Anrufe haben wir in unseren Systemen gesehen, dass wir versucht haben, sie zuzustellen. Die Anrufe wurden aber direkt mit einem ungewöhnlichen Fehlercode abgewiesen.‘)
Mir stehen wirklich die Haare zu Berge, wenn ich mitansehen muss, wie bei SimQuadrat die simpelste Frage in Sachen Kunden+LösungsOrientierung (‚Wie können wir bis zur endgültigen Beseitigung des Problems die Probleme der Kunden durch Unerreichbarkeit lindern?‘) nicht gestellt oder beantwortet worden sind…
Echt fassungslose Grüße, Raimar
PS: Gerade den Punkt ‚eMail-Benachrichtigungen über Anrufversuche OHNE hinterlassene MailBox-Nachricht‘ habe ich über die Jahre immer wieder erfolglos angefragt.
Zum Thema ‚Ankündigungspolitik, ohne zu lieferen‘:
SQ-eMail vom 20.7.16: ‚Wir arbeiten aber bereits an einer erweiterten Benachrichtigungslösung die wir bald online haben werden.‘
‚Bald‘ bei SimQuadrat > 7 Wochen ?! – Erwartet, aber (mal wieder) mehr als bedauerlich.
M. Kiffmann:
Auch ich bin von den Problemen nicht begeistert, vertraue aber noch immer auf die Stärken von sipgate.
Horst:
100 % ACK
Markus:
Hi Olaf, Telefonica hat gestern im Zug der „großen“ Fehlersuche auch den Fehler für 2G gefunden.
Sebastian:
Hallo Raimar,
wir informieren seit Jahren über bestehende Störungen via Twitter (https://twitter.com/sgde_status) oder unsere Status-Seite (http://status.sipgate.de). Anscheinend haben Sie persönlich nichts von den Problemen bemerkt, sonst hätten Sie über unsere Kundenbetreuung oder die eben genannten Kanäle bereits eine entsprechende Information erhalten.
Zu Ihren Kritikpunkten gebe ich Ihnen Recht, dass unsere Kommunikationskanäle zu Telefónica im Notfall nicht gut funktioniert haben. Wir werden uns mit unseren Kontaktpartnern hinsetzen und entsprechende Verbesserungen erarbeiten. Wir erwarten deutlich direktere Kontakte für den Fall, dass sich Probleme mit solchem Ausmaß wiederholen sollten. Allerdings weiß man immer erst nach dem Eintreten eines solchen Vorfalls, wie gut vorher konzipierte Kanäle funktionieren.
Dazu sei gesagt, dass auch direkte O2-Kunden in den letzten zwei Wochen Probleme hatten – wenn auch vorwiegend regional im Großraum Düsseldorf – ohne dass Telefónica bzw. deren Dienstleister das Problem entsprechend hoch priorisitert hat. Es war also nicht so, dass Telefónica vor Montag nichts von der Störung wusste.
Bei den Möglichkeiten zur Verminderung der Auswirkungen wären natürlich aus Kundensicht viele Optionen denkbar. Allerdings können Sie sich denken, dass wir keine Schublade mit „Notfallprodukten und -features“ haben, die wir dann einfach aufmachen und auskippen können. Deshalb konnten wir auch nicht einfach so die Benachrichtigung über verpasste Anrufe aktivieren. Ob wir diese Funktion demnächst dem Feature Store hinzufügen, kann ich Ihnen im Moment nicht sagen. (Und die VoIP-Funktionalität wäre auch nur eine bedingte Hilfe gewesen. Erstens haben viele Kunden kein Endgerät dafür und zweitens dürfen wir aus regulatorischen Gründen Anrufe auf Mobilfunknummern nicht auf VoIP-Endpunkte signalisieren.)
Wir haben in den letzten Tagen einige Punkte erkannt, die wir jetzt im Haus diskutieren und verbessern werden. Wir gehen davon aus, dass eine Störung dieser Größe – die natürlich hoffentlich nie wieder eintritt – beim nächsten Mal deutlich effizienter und schneller behoben wird.
Olaf Ristau:
Seit heute Mittag sich mein Handy (Simquadrat) bevorzugt ins O2-Netz (Sipgate+) ein – sowohl 3G alsauch 2G
Andere eplus-Karten jedoch ins ePlus Netz.
Habt Ihr die Priorisierung geändert ?