.jpg)
Wir haben an dieser Stelle bereits Mitte Juni angekündigt, dass wir uns weiter unabhängig von den großen amerikanischen KI-Modellanbietern machen wollen und dafür eine siebenstellige Summe in die Hand nehmen werden. Das ist nun geschehen. Nach ausgiebigen Tests haben wir massiv in B300 GPU-Server investiert. Und auf denen laufen in Zukunft unsere eigenen Open-Weight-Models.
Eugen Wick ist bei sipgate als Tech Product Owner für Infrastruktur & Plattform unter anderem für Hardware-Bestellungen verantwortlich. Da kommen bei einer Firma der Größe von sipgate schonmal ordentliche Sümmchen zusammen. Aber zwei GPU-Server mit jeweils acht NVIDIA B300 packt auch Eugen nicht alle Tage in den Warenkorb. Hat er aber jetzt gemacht und danach gesagt: “Das war mit Sicherheit der bisher verrückteste Klick meines Lebens.” Gründe für diese besondere Shopping-Tour gibt es gute. Erstens und vor allen Dingen: “Wir wollen uns langfristig unabhängig von Anthropic & Co. machen und große Open-Weight-Modelle selbst betreiben”, so Eugen. Dazu kommt, dass Token-Consumption in der Größenordnung, wie es bei sipgate anfällt, spätestens nach dem letzten Pricing Forecast von Anthropic zu Kosten führt, die leichten Schwindel verursachen: “Und das bei einer Adoption Rate, die noch viel Luft nach oben bietet.”
Datensouveränität
Punkt drei: Datensouveränität für unsere User. Wir bestimmen, was mit den Daten passiert. Wenn keine US-Firmen mehr involviert sind, wandern auch keine Daten mehr über den Atlantik. Wir nehmen die Souveränität unserer Kundendaten ernst. Die Daten sollen komplett da bleiben, wo sie hingehören: auf unseren eigenen Servern in der Europäischen Union. Das ist in großen Teilen jetzt schon der Fall. “Aber wenn wir unsere eigene Infrastruktur mit eigenen Modellen am Start haben, gibt es für die US-Firmen gar keinen Zugriff mehr und an Dritte geht rein gar nichts mehr raus. Wir wollen komplette Datenhoheit. Da wollen und müssen wir hin”, betont sipgate Product Lead Stefan Lange-Hegermann.
Eine Woche getestet
Siebenstellige Summen für einen eigenen Cluster gibt man natürlich nicht einfach so aus. Da sollte man sich im Vorfeld ausgiebig Gedanken machen, ob und warum ein solcher Schritt gerechtfertigt ist. In Gedanken setzten wir unsere eigene KI schon länger auf. Vergangenen Monat sind diese theoretischen Spiele dann mit ganz praktischen Werten unterfüttert worden. Wir haben uns eine 8xB300-Maschine gemietet, darauf ein GLM 5.2 (FP8) Modell via vLLM hochgefahren und da unsere Coding-Tools angehängt. Eine Woche lang haben unsere Devs dann mit Hochdruck ihre tägliche Arbeit auf der neuen Infrastruktur getestet. Das lief richtig gut. Denn wir haben festgestellt, dass das Setup im Alltag problemlos funktioniert – und auch von den Dimensionen her gut passt.
AI-Research in-house – eigene, spezialisierte Modelle
Acht Developer waren und sind aktuell damit beschäftigt, die Modelle auf unsere eigenen GPUs zu holen. Im Fokus stehen aber vor allen Dingen die sipgate Produkte – wie die AI Agents und die Conversation Intelligence, die auf eigene, besser kontrollierbare und vor allem unabhängige Füße gestellt werden. Koordiniert wird das Ganze von Laura Grimm, die bei sipgate als Product Managerin für AI Innovations arbeitet. Und sie ordnet das Ganze so ein: “Anstatt auf die großen Foundation Modelle setzen zu müssen, und lediglich über den Prompt und das Harness Einfluss auf Inhalte und Ausgaben nehmen zu können, wollen wir eigene, spezialisierte Modelle trainieren und einsetzen. Das spart nicht nur Geld. Darüber hinaus haben wir die volle Kontrolle und sind nicht darauf angewiesen, dass die großen Anbieter ihre Modelle nicht deprecaten oder Updates fahren.”
Dazu kommt noch der Qualitäts-Aspekt. Denn, wer mit den großen Modellen arbeitet, kann nur ganz bedingt Einfluss auf die Qualität der Ergebnisse nehmen. Mit den eigenen KI-Modellen sieht die Welt da schon ein wenig anders aus, erklärt Laura: “Wir können nachhaltig die Qualität verbessern. Denn die Trainingsdaten haben einen massiven Einfluss. In dem Moment, wo wir die Trainingsdaten selbst beeinflussen können, haben wir einen viel größeren Hebel.”
.jpg)
.jpg)
