Die Produktentwicklung steht vor der ständigen Herausforderung, dem Kunden ein Produkt zu liefern, das genau seinen Bedürfnissen entspricht. In unserer neuen Blog-Serie geben die Product Manager von etventure einen Einblick in ihre Arbeit und ihre Herangehensweise. Im Mittelpunkt steht dabei die Hypothesen-getriebene Produktentwicklung. Im zweiten Teil der Serie zeigen sie, wie man auf Grundlage einer Hypothese ein Experiment aufstellt.
Die Formulierung guter Hypothesen ist für die erfolgreiche Produktentwicklung essenziell – das haben wir im ersten Teil unserer Serie gezeigt. Und dennoch ist sie nur der erste Schritt in einem mehrstufigen Entwicklungs- und Testing-Prozess. Denn hat sich das Team erst einmal auf eine Hypothese geeinigt, geht es darum, die Annahme zu testen. Das Experiment-Design ist dabei ein entscheidender Faktor.
Ein Experiment verfolgt zwei Ziele: Einerseits wird dabei getestet, was funktioniert und was nicht, andererseits dient es aber auch dazu, Beweise zu sammeln. Diese können entscheidend sein, um wichtige externe und interne Stakeholder wie die Geschäftsführung oder Investoren vom künftigen Erfolg zu überzeugen, so dass sie in die weitere Produktentwicklung investieren (z.B. Budget oder Venture Capital). Noch viel zu häufig werden richtungsweisende Produktentscheidungen nicht auf Datenbasis, sondern nach Bauchgefühl entschieden. Diese oft subjektive Sichtweise kann durch Experimente vermieden werden.
Die richtige Versuchsmethode
Um erfolgreich einen Versuchsaufbau zu entwerfen, sollte man sich vorher mit verschiedenen Versuchsmethoden vertraut machen und die passende Methode auswählen. Dabei dient immer die Hypothese bzw. das Lernziel des Experiments als Ausgangspunkt. Was will ich lernen? Wie schnell benötige ich die Ergebnisse? Reichen mir qualitative Daten oder muss ich mit quantitativen Daten überzeugen – oder brauche ich sogar beides? Welche Ressourcen habe ich zur Verfügung? Mit welchen Daten hätte ich genug Beweise für die Gültigkeit meiner Hypothese gesammelt?
Einige der gängigsten Versuchsmethoden sind:
- Nutzer-Interviews
- Shadowing: Beobachtung des Verhaltens im entsprechenden Kontext
- Usability Tests mit Externen oder “Dogfooding”, also das Selbst-Testing des eigenen Produkts
- A/B- und multivariate Tests
- Persönliche, Online- oder Telefon-Umfragen
- Preto- / Prototyping, z.B. mit interaktiven Click-Dummies oder Landing Pages, die das Produktversprechen kommunizieren
Stolperfallen kennen und vermeiden
Auch wenn die richtige Methode ausgewählt ist, lauern einige Stolperfallen, die leicht vermieden werden können, wenn man sich ihrer bewusst ist und die entsprechenden Parameter von Anfang an berücksichtigt. Diese typischen Fehler machen Produktentwickler im Experiment-Design:
- Ziel verfehlt: Das Experiment ist nicht an die Ausgangshypothese geknüpft. Die Erkenntnisse sind nicht hilfreich.
- Ungünstige Laufzeit: Das Experiment läuft ewig oder wird zur falschen Zeit abgebrochen. In beiden Fällen hat man nichts gelernt, sondern Zeit verschwendet.
- Lange Setup-Zeit: Die Entwicklung des Experiments dauert länger als die Entwicklung des angedachten Features.
- Falsche Zielgruppe: Wird im Versuch eine andere Zielgruppe angesprochen als jene, die in der Hypothese definiert wurde, lässt das Versuchsergebnis keine Aussage über die Hypothese zu.
- Paralyse durch Analyse: Das Motto “alles sollte getestet werden” wird zu wörtlich genommen und selbst triviale Dinge werden unnötig hinterfragt. Auch hier wird Zeit verbraucht, ohne dem Ziel näher zu kommen.
Pragmatisches und iteratives Vorgehen
Wie bereits bei der Formulierung der Hypothese empfiehlt sich auch fürs Experiment-Design ein pragmatischer Ansatz. Ein iteratives Vorgehen hilft dabei, die schnellste und einfachste Möglichkeit zu finden, um die Hypothese zu validieren oder zu widerlegen und Ergebnisse zu erhalten, die das Produktvorhaben glaubhaft stützen.
Eine Hypothese, die wir im ersten Teil unserer Blogserie aufgestellt haben, lautet: Die neue Betreffzeile wird die Öffnungsrate für Abonnenten um 15 % nach 3 Tagen erhöhen. Das Experiment-Design könnte also so aussehen:
- Titel: Betreffzeilen-Test mit Newsletter-Abonnenten
- Datum: 1. März 2018
- Autor: Max Mustermann
- Lernziel: Einfluss der Betreffzeile auf die Öffnungsrate
- Versuchsmethode: A/B-Test, 50 % der Abonnenten in Testgruppe, 50 % der Abonnenten in der Kontrollgruppe
- Hypothese: Steigerung der Öffnungsrate um 15 % nach 3 Tagen
- Zeitplanung: Start Ende April, 2 Wochen Laufzeit erwartet (maßgeblich ist die statistische Signifikanz)
- Teilnehmer: 1.000 Newsletter-Abonnenten
- Ressourceneinsatz: 2 Tage für 1 Entwickler und 1 Marketeer
Das Ausformulieren des Versuchsaufbaus hat zwei entscheidende Vorteile: Zum einen erhält das am Versuchsaufbau beteiligte Team Klarheit über den aktuellen Status und kann die nächsten Schritte entsprechend danach ausrichten. Zum anderen hilft eine solche Aufstellung bei der Außenkommunikation, weil wichtige Stakeholder in kurzer Zeit einen Überblick über die wichtigsten Parameter erhalten.
Wenn das Experiment-Design abgeschlossen ist, geht es an die Umsetzung. Je nach Methode müssen hierzu noch entsprechend Vorbereitungen getroffen werden. Wer seine Nutzer interviewen will, sollte einen kurzen Interview-Guide schreiben, für A/B-Tests hingegen muss meist entsprechende Software aufgesetzt werden.
Die richtigen Schlüsse ziehen
Sobald das Experiment läuft und die ersten Ergebnisse einsehbar sind, steigt auch für uns Produktentwickler die Spannung. Stimmt unsere Hypothese oder lagen wir daneben? Was machen wir als nächstes? Wie nutzen wir die neu gewonnen Erkenntnisse systematisch? Diesen Fragen widmen wir uns im dritten und letzten Teil unserer Blogreihe.