Zukunft mit Methode: Warum sipgate eigene AI-Forschung betreibt

Neues auszuprobieren, bevor es alle können, und sich mit den wirklich kniffeligen Fragen zu beschäftigen, auf die es noch keine fertige Antwort gibt. Und zwar so, dass wir den Ergebnissen auch trauen können.

Seit Kurzem arbeitet wir in zwei Teams, beide methodisch, aber mit unterschiedlichem Ansatz: R&D lernt durch Bauen und macht neue Möglichkeiten schnell greifbar. Applied ML Research lernt durch kontrollierte Experimente und macht messbar, was davon trägt. Warum wir diesen Schritt gegangen sind, warum sipgate überhaupt in eigene AI-Forschung investiert und woran beide Teams gerade arbeiten, zeigen wir in diesem Beitrag.

Unser Fundament: ein eigener Stack

Dass sipgate nicht erst seit dem LLM-Hype an AI Themen arbeitet, ist kein Geheimnis. Trotzdem haben wir uns an ChatGPT, Mistral und Co. genauso herangetastet wie alle anderen auch. Nur um schnell zu merken, dass der wirkliche Hebel in Punkte Qualität und Datenschutz nicht ohne die Arbeit an eigenen Modellen wirken kann. Von der Spracherkennung über AI Assist Features, Conversation Intelligence und das Contact Center bis zu unseren AI Agents und sona.

Die Transkription haben wir früh auf eigene Infrastruktur geholt. Telefonate sind die sensibelsten Daten, die wir haben, geschützt durch das Telekommunikationsgeheimnis und die DSGVO. Mit eigenen Modellen und eigener Infrastruktur konnten wir den Datenschutz Schritt für Schritt verbessern und auch hinsichtlich der Performance optimieren. Unsere Transkripte sind nicht nur qualitativ besser geworden, sie erreichen die User:innen nach dem Auflegen im Schnitt bereits nach wenigen Sekunden, wo man vor einem Jahr noch Minuten warten musste.

Dieser eigene Stack ist mehr als eine technische Entscheidung. Er ist die Voraussetzung dafür, dass wir selbst forschen können, statt nur abzuwarten, was andere liefern. Und er zeigt, dass ein europäischer Weg in der AI möglich ist.

Warum wir forschen

Viele Fragen, die für unsere Produkte entscheidend sind, hat noch niemand abschließend beantwortet. Transkripte, die Namen und E-Mail-Adressen am Telefon zuverlässig erfassen. Voicebots, die sich im Gespräch natürlich verhalten. Zusammenfassungen und Hints, die wirklich die Themen herausfiltern, die relevant sind. Daran arbeitet gerade die ganze Branche, und wir wollen Teil derer sein, die Lösungen liefern.

Zwei Blickwinkel leiten dabei unsere Forschung:

• Kund:innen helfen, besser mit ihren Kund:innen zu kommunizieren. In Telefonaten steckt enorm viel Wissen: über Anliegen, Abläufe und darüber, was Kund:innen wirklich brauchen. AI und Machine Learning können daraus strukturierte, durchsuchbare Erkenntnisse machen. Wir erforschen, wie das verlässlich gelingt und wie dadurch die Customer Experience nachhaltig verbessert wird. Wie können wir auf Probleme frühzeitig hinweisen? Welche Needs haben Anrufer:innen wirklich? Wie schnell gibt es die richtigen Antworten auf Fragen?
• Menschen und AI Agents arbeiten Hand in Hand. Künftig werden Menschen und AI Agents gemeinsam Gespräche führen, Systeme einrichten und zusammenarbeiten. Sie werden sich gegenseitig updaten und auf Fehler hinweisen. Was macht diese Zusammenarbeit natürlich, sicher und produktiv? Wie arbeiten Agents mit Tools, Schnittstellen und Menschen zusammen?

Dabei steht immer im Mittelpunkt, dass das, was wir machen nicht nur gut klingt, sondern auch verlässlich und sicher funktioniert. Eine ganz besondere Herausforderung in der Arbeit mit nicht-deterministischen Systemen.

Wie wir forschen: erst messen, dann bauen

Auch für die klassische Softwareentwicklung ist das Schreiben von aussagekräftigen, verlässlichen Tests eine Herausforderung. Für Software basierend auf AI wird es noch komplexer. Oft gibt es nicht die eine richtige Antwort, und dieselbe Eingabe kann zu unterschiedlichen Ergebnissen führen. Selbst Andrej Karpathy, Mitgründer von OpenAI, sprach 2025 von einer „evaluation crisis“: Sich auf das Gefühl zu verlassen, ob ein Modell gut ist, sei zu anfällig für Bestätigungsfehler (Post auf X).

Die Forschung zeigt, wie leicht man sich täuschen kann:

• Selbstbewusst klingt richtig. Menschen übersehen Faktenfehler häufiger, wenn eine Antwort selbstbewusst formuliert ist (Hosking et al., 2024).
• Kleine Änderung, große Wirkung. Schon eine andere Formatierung desselben Prompts kann die Genauigkeit eines Modells massiv verändern, im Schnitt um rund 10 Prozentpunkte (Sclar et al., 2024).
• Auch AI als Prüfer ist nicht neutral. Lässt man ein Sprachmodell zwei Antworten vergleichen, kann schon deren Reihenfolge, in der die Antworten präsentiert werden, das Urteil kippen (Wang et al., 2024).

Deshalb gilt bei uns: Evals first. Bevor wir etwas bauen, legen wir fest, was wir erreichen wollen, wie wir es messen und welche Daten wir dafür brauchen. Jede Änderung, ob Modell, Prompt oder Konfiguration, messen wir gegen eine feste Vergleichsbasis. Dabei sind Experimente, die nicht funktionieren genauso relevante Wegweiser wie die, die erfolgreich verlaufen.

Evals, also systematische Tests für AI-Features, stehen damit im Zentrum unserer Produktarbeit. Kevin Weil, damals Chief Product Officer bei OpenAI, nannte gute Evals eine Kernkompetenz für Product Manager (Lenny's Podcast). Die Eval-Experten Hamel Husain und Shreya Shankar raten zudem, die Bewertung in der Regel nicht auszulagern: Über Qualität sollte jemand mit Fachwissen aus dem eigenen Haus entscheiden (Evals FAQ).

Deshalb ist es fester Teil unserer Produktarbeit, Testdaten auszuwählen, Bewertungsskalen festzulegen und die ersten hundert Beispiele selbst zu bewerten. Solche sorgfältig bewerteten Daten sind eines der größten Potenziale, die bei uns noch schlummern. Wir brauchen sie, um Prompts und Abläufe rund um ein Modell zu verbessern, und erst recht, wenn wir Modelle für unsere Anwendungsfälle nachtrainieren.

Wie viel genaues Hinsehen bringt, zeigt ein Blick auf unseren Voice Agent. Für jede nicht erfolgreiche Konversation gibt es diverse Stellschrauben: 

Woran wir gerade arbeiten

Drei Beispiele zeigen, wie eng unsere Fragen mit offenen Fragen der ganzen Branche zusammenhängen.

Zusammenfassungen, die die Mitte nicht vergessen. Sprachmodelle nutzen Informationen am Anfang und am Ende langer Texte deutlich besser als in der Mitte (Liu et al., 2024). In einem langen Kundengespräch steckt das Entscheidende aber oft genau dort. Wir wollen sicherstellen, dass eure Zusammenfassungen das ganze Gespräch abbilden und nicht durch Fehlgewichtung einzelner Themen die gesamte Auswertung verzerrt.

Wissen, was man nicht weiß. Es gibt Ansätze, mit denen ein Modell erkennen kann, wann es sich unsicher ist, und so Halluzinationen auffängt (Farquhar et al., Nature 2024). Das kostet allerdings ein Vielfaches an Rechenleistung. Ob sich das für unsere Anwendungsfälle lohnt, bewerten wir gerade.

Fehler im System finden. Wenn ein AI Agent scheitert, ist oft unklar, welcher Teil schuld war. Selbst die beste automatische Methode in einer aktuellen Studie zu Systemen aus mehreren AI-Agenten fand den verantwortlichen Agenten nur in rund der Hälfte der Fälle (Zhang et al., ICML 2025). Unser Blick auf den Voice Agent zeigt, warum uns das umtreibt.

Daneben arbeiten wir an einer besseren Erkennung von E-Mail-Adressen am Telefon und daran, Playbooks für AI Agents einfacher und verlässlicher zu machen. Wir arbeiten auf einen Voice Agent hin, der gleichzeitig zuhören und sprechen kann und trotzdem zuverlässig Aktionen ausführt. Und wir prüfen, welche Erkenntnisse sich ohne Transkript und damit noch datenschutzfreundlicher aus Gesprächen gewinnen lassen.

Auch unsere eigene Arbeitsweise ist ein Forschungsthema: Wir setzen AI Agents ein, um Fachliteratur auszuwerten und Experimente zu fahren, und untersuchen dabei, wie das überhaupt verlässlich gelingt.

Warum zwei Teams?

Bisher hat unser R&D-Team beides gleichzeitig gestemmt: schnell Neues bauen und in die Tiefe forschen, dazu noch Betrieb und Bereitstellung. Mit jedem neuen AI-Produkt wächst jede dieser Aufgaben, und jede verdient volle Aufmerksamkeit. Deshalb haben wir das Ganze auf zwei Teams verteilt, die an denselben Zielen arbeiten, nur mit unterschiedlichem Schwerpunkt:

Spread the Word

Erkenntnisse, über die niemand spricht, bringen wenig. Deshalb sind wir viel unterwegs: zuletzt auf der NVIDIA GTC in Berlin, einer der wichtigsten Konferenzen für GPU-Computing, und auf der EMNLP in Budapest, einer der wichtigsten Konferenzen für Sprachverarbeitung.

Unsere Researcher bringen sich außerdem regelmäßig in die akademische Community ein. Sie begutachten Einreichungen für die wichtigsten Konferenzen für Machine Learning (NeurIPS, ICLR), Künstliche Intelligenz (AAAI) und Sprachverarbeitung (EMNLP sowie ACL und ihre Schwesterkonferenzen NAACL, EACL und AACL). Unsere Kollegin Dr. Carina Silberer war zuletzt bei der ACL 2026 und der EMNLP 2026 Senior Area Chair und hat dort die Begutachtung eines ganzen Themenbereichs verantwortet. Unser Kollege Dr. Faried Abu Zaid ist in diesem Jahr als Top-Reviewer persönlich zur NeurIPS nach Sydney eingeladen worden. Intern teilen wir unser Wissen in kurzen Knowledge Bites, Workshops und offenen Labs Hours.

Dieser Artikel ist nur der Anfang. Mit dem sipgate Science Lab starten wir bald einen eigenen Blog, auf dem das Team ausführlicher und technischer schreibt: über Experimente, Benchmarks und Ergebnisse, auch über die, die nicht funktioniert haben. 

Zum Schluss

Beide Teams arbeiten an denselben Zielen, nur von zwei Seiten: R&D macht neue Möglichkeiten schnell greifbar, mit Labs-Features, neuen Schnittstellen und Experimenten etwa mit Audio-to-Audio-Modellen. Applied ML Research sorgt dafür, dass wir verstehen, was davon trägt, und macht Qualität messbar. In den kommenden Monaten arbeiten beide Teams gemeinsam unter anderem an verlässlicheren Transkripten, an Zusammenfassungen, die das ganze Gespräch abbilden, und an Voice Agents, die gleichzeitig zuhören, sprechen und handeln. 

Als Product Managerin für beide Teams bringe ich Fragen aus dem Produkt in beide Teams, achte darauf, dass Prototypen aus R&D und Messergebnisse aus Applied ML Research ineinandergreifen, und halte den direkten Draht zu den Produktteams. Ich freue mich auch über jeden Austausch zu unserer Arbeit und Fragen dazu, gern via Linkedin oder Mail.

‍