Gute KI heißt, seine Daten abzugeben? Nicht bei uns, dank sipgate Galateia*!

Die gängige Erzählung: Wirklich gute Ergebnisse mit generativer KI gibt es nur mit den großen, geschlossenen Modellen, z.B. von OpenAI. Wir haben diese Aussage gechallenged. Was wir damit erreicht haben und was es wirklich gekostet hat. (Spoiler: Arbeit.)

Wenn du wirklich gute KI-Ergebnisse willst, führt kein Weg an den großen Transformer-Modellen vorbei. Alles, was kleiner ist, was man selbst hostet oder selbst nach trainiert, reicht nie an die Ergebnisse heran. Teuer, mühsam, und am Ende ist das Modell eher schlechter als vorher.

Wir haben es trotzdem gemacht. Und können den Mythos, dass es keinen Sinn ergibt, in Training zu investieren, widerlegen. In der sipgate App können User:innen ab jetzt unser eigenes Modell sipgate Galateia (basierend auf QWEN 3.5) für die Grundlage der AI Assist Features aktivieren. 

Warum wir uns die Arbeit überhaupt gemacht haben

AI Assist liest mit: Es macht aus einem Telefongespräch eine Überschrift, eine Themenliste, Action Items, eine Zusammenfassung. Praktisch, aber eben aus echten Gesprächen mit echten, sensiblen Inhalten. Und genau diese Gespräche gehen zur Analyse an externe Frontier-Modelle. Und auch wenn wir dafür sorgen, dass wir nur auf EU Hosting zurückgreifen, stehen dahinter US Anbieter.

Das muss nicht. Unser Modell sipgate Galateia (basierend auf QWEN 3.5) läuft auf Servern in Europa und bald auf unserer eigenen Hardware. Die Gespräche verlassen unsere Hand nicht mehr. Kein Umweg über einen US-Dienst, keine offene Flanke Richtung CLOUD Act.

Europäische Datenhoheit ist wichtig. Nicht aus Prinzip, sondern weil hier ganz konkret etwas auf dem Spiel steht: die Kontrolle über die Gespräche unserer Kund:innen. Der übliche Haken dabei: Diese Kontrolle bezahlt man angeblich mit schlechterer Qualität. Fanden wir keine gute Idee.

Wird das dann nicht zwangsläufig schlechter?

Ehrlich? Meistens ja. Offene, selbst gehostete Modelle reichen im Schnitt nicht an die großen geschlossenen heran. Unseres ist obendrein sehr viel kleiner als beispielsweise ein GPT 4o. So weit die pauschale Wahrheit.

Aber „pauschal" ist genau der Punkt. Für unsere konkreten Aufgaben liegen die Ergebnisse auf demselben Stand wie bei den großen Modellen. Kein Geheimnis, kein Zaubertrick und trotzdem war es ein ordentliches Stück Arbeit, die sich am Ende aber ausgezahlt hat. Die vier Dinge, die dabei am meisten gezählt haben, geben wir gern weiter.

1. Ohne gute Daten fehlt jede sinnvolle Basis

Von den uns zur Verfügung stehenden Daten waren fast 50 % nicht geeignet, um damit weiterzuarbeiten.

Ein Viertel waren exakte Dubletten. Dasselbe Gespräch, wieder und wieder. Was harmlos klingt, kann aber gefährlich werden: Landet dasselbe Beispiel gleichzeitig im Training und im Test, rechnet man sich die eigene Qualität schön. Ein Fünftel hatte gar kein Ergebnis. Dazu Anrufbeantworter, IVR-Menüs, abgebrochene Testanrufe. Wer das ungefiltert ins Training kippt, macht sein Modell nicht klüger, sondern dümmer.

Eine Regel haben wir eisern durchgehalten: filtern, nicht umschreiben. Aussortieren, aber niemals still den Inhalt „geradeziehen". Sonst baut man sich Fehler ein, die später keiner mehr findet.

Und klar, beim Sichten und Bewerten hilft ein LLM. Aber die menschliche Kontrolle bleibt Pflicht. Zu viel Vertrauen rächt sich hier: Auch das beste Modell stößt beim Aufräumen an genau die Grenzen, die es überall hat.

2. Klare Definition: Was heißt eigentlich „gut"?

Die großen Modelle sind bequem. Man wirft einen Prompt hin, das Ergebnis passt schon irgendwie. Für Finetuning funktioniert das nicht.

Denn wer die beste Zusammenfassung will, muss erstmal sagen, was „beste" überhaupt heißt. Für jede Aufgabe haben wir das ausbuchstabiert, drei bis vier klare Kriterien pro Fall. Bei Action Items zum Beispiel: Ist es vollständig? Faktisch korrekt? Der richtigen Person zugeordnet? Und, ganz banal, überhaupt umsetzbar? Bei Zusammenfassungen: Korrektheit, Vollständigkeit, Prägnanz.

Das ist genau die Arbeit, die einem die großen Modelle sonst stillschweigend abnehmen. Will man in die Tiefe, muss man sie selbst machen. Eine Abkürzung gibt es nicht.

3. Ohne Evals bleibt alles Bauchgefühl

Über Evaluationen hört man oft, “das machen wir, wenn wir erstmal fertig sind”. Dabei sind sie die Bedingung dafür, überhaupt seriös mit KI zu arbeiten.

Eine Zahl macht das greifbar: Das offene Ausgangsmodell lieferte in 64 % der Fälle ein sauber strukturiertes, verwertbares Ergebnis. Nach dem Finetuning: in 96,4 %. So ein Sprung wird nur sichtbar, wenn man ihn misst.

Dasselbe bei den großen Weichenstellungen. Wir haben zum Beispiel sauber gegeneinander getestet: viele kleine Spezialmodelle, eins pro Aufgabe oder ein einziges, das alles kann? Das Ergebnis war eindeutig. Ein Modell für alles liefert vergleichbare Qualität, braucht aber nur einen Inferenz-Endpunkt statt vier. Im Betrieb rund drei Viertel günstiger. Ohne Messung wäre das ein Bauchgefühl geblieben – und Bauchgefühl ist beim Thema Qualität der schlechteste Ratgeber.

Kurz: Irgendwas von der Stange reicht hier nicht. Man will wirklich testen, verstehen und auch die eigenen Evals immer wieder hinterfragen und evaluieren. KI ohne Data Science und ehrliche Vergleiche funktioniert in der Tiefe schlicht nicht.

4. Einmal richtig bauen, bei jedem Feature profitieren

Der wichtigste Punkt kommt zum Schluss, weil er alles zusammenhält. Am Ende ist nicht das eine Modell das Wertvolle, sondern der Weg dorthin: Die Pipeline von der Datenaufbereitung übers Training bis zur Auswertung.

Es ist besonders wichtig, dass wir diesen Weg immer wieder gehen. Für jedes neue Feature, für jede Anpassung an einem bestehenden Feature müssen wir gegebenenfalls neu trainieren. Ist der Weg von Anfang an sauber gebaut (reproduzierbar, versioniert, dokumentiert), dann ist die nächste Modellgeneration kein Kraftakt, sondern eine planbare Wiederholung. Deshalb lohnt es sich, es gleich richtig zu machen, auch wenn es am Anfang mehr kostet. 

Und jetzt?

Bisher haben wir das Modell intern in unserer Kund:innen-Betreuung getestet. Das Feedback der ersten Runde war klar positiv: Was die Zahlen im Eval versprochen haben, spiegelt sich auch in echten Gesprächen wider.

Nun zieht es in den Labs-Bereich der sipgate App ein, damit wir es auch unseren User:innen zur Verfügung stellen können. Für uns ist das das erste eigene Modell. Nicht das letzte. Gebaut haben wir das Ganze bewusst so, dass sich niemand mehr zwischen guter KI und den eigenen Daten entscheiden muss.

Probiert es aus, sobald es bei euch in Labs auftaucht. Und sagt uns, was ihr davon haltet!

*„Eigenes Modell" heißt hier: Wir haben ein offenes Modell aus der Qwen-3.5-Familie genommen, darauf mit spezifischen Daten einen Adapter trainiert und betreiben beides auf unserer eigenen Infrastruktur. Wir sind damit Betreiber, nicht Anbieter des Modells.

‍