Test early, test often: User-Tests als fester Bestandteil unserer Produktentwicklung

Das frühzeitige Testen von Produkten, Features oder Ideen ist fest in der sipgate-DNA verankert und ein Grundsatz unserer Arbeitskultur. Monatelang ein Produkt zu bauen, das im dümmsten Fall am Markt oder den Kundenbedürfnissen vorbeigeht, halten wir nicht für sinnvoll. Wir binden unsere Kunden lieber frühzeitig ein und stützen die Produktentwicklung auf deren Feedback.

Als wir auf der diesjährigen re:publica das Usability Testessen kennengelernt haben, war schnell klar: Das passt zu uns! Das Event bringt Entwickler*innen und Nutzer*innen an einen Tisch. Bei Pizza, Bier und Brause werden Prototypen, Websites oder Apps auf ihre Gebrauchstauglichkeit getestet.

Am 9. August 2018 fand das dritte Usability Testessen in Düsseldorf bei uns statt. An zwei von insgesamt zehn Stationen konnten User unsere Produkte sipgate team und CLINQ testen. Unserer Kurzfazit zum Event: Super Veranstaltungskonzept, megawertvolles Feedback in kürzester Zeit und dabei auch noch Spaß gehabt!

Ein ausführlicheres Feedback haben wir von unserem UX-Designer Daniel bekommen, der ein neues Feature von sipgate team testen ließ:

Testen (lassen) ist bei sipgate fester Bestandteil der Produktentwicklung

Nach der großen Begeisterung über das Usability Testessen fragte ich mich, wie genau wir eigentlich Testings in unseren Arbeitsalltag und die Produktentwicklung integrieren. Also habe ich bei den Teams von sipgate team, satellite und CLINQ nachgehakt, wie sie Tester für ihre Produkte finden und wie Feedback ausgewertet wird. Eine Gemeinsamkeit habe ich in allen Produktteams gefunden: Die Organisation als crossfunktionales Team ist eine super Voraussetzung für‘s Testen.

Crossfunktionale Teams sind die beste Basis für Usability-Tests

Bei sipgate arbeiten wir in crossfunktionalen Teams. Der UX-Designer sitzt also eh schon direkt neben dem Entwickler, daher können wir erste Testings direkt innerhalb der Teams durchführen.

Ein zusätzlicher Weg, informell und schnell ein erstes Feedback zu bekommen: einfach die Kollegen fragen. UX-Designer Simon macht gerne sogenannte “Hallway-Tests”. Dabei befragt er Kollegen, denen er im Flur oder an der Kaffeemaschinen begegnet. Der Test dauert nicht länger als 5 bis 10 Minuten und überprüft, ob ein Konzept grundsätzlich verstanden wird. Das Feedback geht direkt an die Entwickler im eigenen Team weiter. Unsere Entwickler testen die dann neu programmierte Funktion mit unserer Kundenbetreuung – logisch, denn die haben das Ohr am Kunden und können am ehesten einschätzen, ob sie was taugen oder nicht.

Verstärktes User-Testing bei sipgate team

In der Vergangenheit haben wir Tests für sipgate team nur mit Hallway-Tests innerhalb der Firma oder vereinzelt auf Events wie z.B. beim Usability Testessen eingeholt. Zusätzlich schlug das Feedback unserer Kunden vor allem in der Kundenbetreuung auf, die dieses in das Produktteam weitergetragen haben. Kundenfeedback haben wir bei diesem Vorgehen nur auf Features bekommen, die bereits live sind. Dabei ist für uns insbesondere Feedback auf Features wichtig, an denen wir gerade arbeiten.

Um hier die Kundenorientierung stärker zu fokussieren, ist die Lösung naheliegend: regelmäßiges Testen mit echten Kunden! Um Tester zu finden, werden unsere Kunden derzeit im eingeloggten Bereich von sipgate team gefragt, ob sie bereit sind, an Beta-Tests teilzunehmen. Als Motivationshilfe schenken wir den Freiwilligen drei Monate die Grundgebühr. Die derzeit ca. 70 Interessierten werden bei einer neuen Testreihe von uns angeschrieben und zum konkreten User-Test eingeladen. In individuell vereinbarten Terminen führen wir die Tests von neuen Features per Remote über Teamviewer durch.

Der große Unterschied zu vorher: Mit den „neuen“ Usability-Tests haben wir (und auch unsere Kunden) die Chance, Features schon vor dem eigentlichen Live-Go zu testen. Natürlich werden wir auch weiterhin das Feedback einarbeiten, das wir aus der Kundenbetreuung bekommen. Zusätzlich werden unsere Entwickler und UX-Designer zukünftig das Ohr direkt am Kunden haben. So landet deren Feedback ungeschönt im Produktteam. Wir wollen, dass Kunden verstärkt in Entwicklungsprozesse eingebunden sind und wir mehr Transparenz bei der Weiterentwicklung unserer Produkte schaffen.

Beta-Tester optimieren laufend satellite

Für das Team von satellite war von vornherein klar, dass Beta-Tester in die App-Entwicklung einbezogen werden. Nach einem Jahr Developement wurde eine Facebook-Kampagne geschaltet um Testfreiwillige zu finden. Die Anzeigen leiteten auf eine Landingpage, auf der sich Interessenten über ein Formular anmelden konnten. satellite hatte wohl einen Zeitnerv getroffen, denn innerhalb kurzer Zeit hatten sich etwa 4.000 Menschen für den Beta-Test angemeldet. Während die App weiterentwickelt wurde, ließ das Team in mehreren Schüben immer mehr User auf die zu testende Beta-Version. Nach acht Monaten betrug der tatsächliche Tester-Pool ca. 1.000 Personen (die anderen 3.000 Anmeldungen testen mittlerweile fleißig die Release-Version). Von diesen geben auch heute noch 100 Freiwillige regelmäßig qualifiziertes Feedback.

Die Beta-Tester bekommen neue App-Versionen jeweils ein bis zwei Wochen früher als „normale“. Dazu erhalten sie über die Release-Notes eine Nachricht, was explizit getestet werden soll. Die Nutzer haben in der App die Möglichkeit, dem satellite-Team ein Ticket zu schreiben. Das eingehende Feedback wird nach Schwerpunkten / Problemen getaggt und nach Dringlichkeit abgearbeitet. Noch vor der Beta-Version testete satellite die App übrigens zunächst Inhouse und mit Freunden und Familie.

CLINQ ist mitten im Beta-Test

Auch CLINQ gewinnt seine Tester über Social Media Marketing. Für die Ads wurde der Fokus auf die Interessen „Startups“, „VoIP“ und „Gründer“ gelegt. Zielgruppe waren vor allem Menschen, die sipgate noch nicht kennen und auch keines der anderen Produkte nutzen. Erreicht hat CLINQ mit seiner Kampagne ca. 1.500 Menschen. Als Tester angemeldet haben sich davon 120. Im Moment testen sechs Firmen mit im Schnitt drei Mitarbeitern das Produkt im normalen Arbeitsalltag.

Übrigens: Genau wie bei satellite wurde keine Belohnung ausgerufen um die Menschen zur Testanmeldung zu motivieren. Die Tester haben sich vor allem gemeldet, weil sie an einem Produkt wie CLINQ wirklich Bedarf haben. Die Tester geben ihr Feedback über ein Feedbackformular in der App, werden aber danach meist noch einmal für ein qualitatives Interview angerufen.

Nicht nur Produkte – auch die Arbeitskultur regelmäßig testen

Das Testen beschränken wir nicht nur auf die Produktentwicklung: auch (neue) Arbeitsprozesse und unsere Work Hacks werden regelmäßig auf den Prüfstand gestellt. Denn unser Antrieb ist, jeden Tag ein bisschen besser zu werden. Unser Open Friday und die regelmäßigen Retrospektiven sind dabei gute Methoden um Feedback zu geben, neue Ideen zu spinnen und Testballons zu finden.