Produktentwicklung durch Hypothesen: Ergebnisse auswerten und interpretieren
23. März 2018
Die Produktentwicklung steht vor der ständigen Herausforderung, dem Kunden ein Produkt zu liefern, das genau seinen Bedürfnissen entspricht. In ihrer Blog-Serie geben die Product Manager von etventure einen Einblick in ihre Arbeit und ihre Herangehensweise. Im Mittelpunkt steht dabei die Hypothesen-getriebene Produktentwicklung. Im dritten und letzten Teil der Serie geht es um die richtige Auswertung von Experimenten.
Nach der Formulierung einer testbaren Hypothese (siehe Teil 1) und der Umsetzung des Experiments (siehe Teil 2) steht nun der nächste und finale Schritt an: die Auswertung der Ergebnisse und damit verbunden eine Bewertung der Ausgangshypothese.
Folgende Varianten des Ergebnisses sind dabei möglich:
- Das Versuchsergebnis weicht stark vom erwarteten Ergebnis ab.
- Das Versuchsergebnis verfehlt knapp das erwartete Ergebnis.
- Das Versuchsergebnis entspricht dem erwarteten Ergebnis oder übertrifft es sogar.
Szenario 1: Das Versuchsergebnis weicht stark vom erwarteten Ergebnis ab
Bei diesem Szenario wurde die Hypothese nicht validiert. Dennoch haben die Produktentwickler etwas dazugelernt. Sie haben weitere Informationen gewonnen und können nun entscheiden, ob die Produktidee fortgeführt, abgewandelt oder eingestampft wird. In diesem Fall ist es ratsam, sich die erhobenen Daten genau anzuschauen – denn manchmal liegt der Teufel im Detail. In der Praxis kann es mehrere mögliche Gründe dafür geben, dass ein Ergebnis anders ausfällt als erwartet. Typischerweise liegt es an einer Abweichung zwischen Idee und Zielgruppe oder an einem falschen Experiment-Design. Ein Blick auf die Daten oder die Zusammenarbeit mit Experten hilft bei der Nachjustierung, etwa durch die Neudefinition der Zielgruppe oder die Abänderung des Experiments. Falls sich aus den generierten Daten nicht genug Informationen für die Entwicklung und Prüfung weiterer Hypothesen ableiten lassen, sollten weitere qualitative Kundeninterviews mit der Zielgruppe geführt werden.
Szenario 2: Das Versuchsergebnis verfehlt knapp das erwartete Ergebnis
Dieses Szenario kommt in der Praxis am häufigsten vor. Auch in diesem Fall muss geprüft werden, woran genau die Abweichung liegen könnte. War die Zielmetrik zu unrealistisch? Brauchen wir eine größere Testgruppe? Brauchen wir mehr Zeit für das Experiment? Das Ergebnis sollte mit Blick auf die Daten im Team besprochen und anschließend mit leicht geänderten Parametern wiederholt werden.
Szenario 3: Das Versuchsergebnis entspricht dem erwarteten Ergebnis oder übertrifft es sogar
Wenn das Versuchsergebnis dem erwarteten Ergebnis entspricht, ist das ein positives Signal: Der User verhält sich so, wie die Produktentwickler es prognostiziert haben. Je nachdem, wie sicher sie sich in ihrer Messung sind, kann es hilfreich sein, das Experiment mit einer größeren Testgruppe nochmals zu validieren. Idealerweise ist das ein guter Ausgangspunkt, um weitere Faktoren, die das Ergebnis beeinflusst haben könnten, zu kontrollieren und weitere tiefergehende Erkenntnisse und Abhängigkeiten zu untersuchen. Ob ein solcher Schritt in der Praxis notwendig ist, hängt von Faktoren wie Budget und Zeit ab, aber auch von der Erfahrung des jeweiligen Produktentwicklers.
Nachdem alle erfolgskritischen Hypothesen positiv validiert wurden, wird die Lösung entwickelt. Die Produktentwickler starten für die grobe Konzeption der Features mit Wireframe, bevor sie dann den Auftrag mithilfe detaillierter Mockups und Prototypen an die agilen Entwicklungsteams weitergeben. Innerhalb kurzer Zeit wird bereits eine erste funktionsfähige Version des Produkts gelauncht – ein Minimum Viable Product (MVP).
Grenzen der Hypothesen-basierten Produktentwicklung
Ähnlich wie bei wissenschaftlichen Experimenten sind auch bei der Hypothesen-basierten Produktentwicklung einige Restriktionen zu beachten. In der Regel wird in der Wissenschaft das Verhältnis zwischen zwei oder mehr Variablen untersucht. Die Realität wird also auf prüfbare Faktoren und deren Beziehungen zueinander reduziert – in Wirklichkeit ist sie aber viel komplexer. Bei der Auswertung von Experimenten muss also immer berücksichtigt werden, dass unter Umständen weitere unbekannte Faktoren einen Einfluss auf das Endergebnis genommen haben.
Auch die Balance zwischen der Nutzung qualitativer und quantitativer Daten ist eine Herausforderung. So erzeugen etwa Experimente wie Landing Pages ausschließlich quantitative Daten. Aus ihnen lässt sich zwar das “Was” ableiten, aber nicht das “Warum”. Deshalb macht es keinen Sinn, Hypothesen zu Produktideen zu testen, wenn das eigentliche Kundenproblem noch nicht bekannt ist. Die Innovationsmethode Design Thinking hilft dabei, genau das herauszufinden.
Wie auch beim Design Thinking steht bei der Hypothesen-basierten Produktentwicklung das Lernen im Vordergrund. Genau genommen geht es darum, über Markt und Kunden getroffene Annahmen so schnell und kosteneffizient wie möglich zu testen, stets nach dem Motto “Fail fast, fail cheap”. Dabei führt jedes Experiment und jedes Ergebnis zu einem besseren Verständnis der Zielgruppe und somit zu einer validierten und sinnvollen Entscheidung über die Entwicklung neuer Produkte.
* Pflichtfeld