Den Test zu früh beenden (Peeking)
Der Fehler
Der größte Fehler: Du schaust nach einer Woche auf die Ergebnisse, obwohl der Test für zwei Wochen geplant war.
Warum das ein Fehler ist
Nach einer Woche hast du vierhundert Conversions pro Variante. Nach zwei Wochen sind es achthundert. Bei vierhundert ist das Zufallsrauschen höher. Du siehst Unterschiede, die mit mehr Daten wieder verschwinden.
Ein Beispiel: In Woche eins hat die Variante neun Prozent Conversion. Die Kontrolle hat acht Prozent. Ein Prozent Vorsprung wirkt echt. Du schaust nach und freust dich. In Woche zwei fällt die Variante auf acht Komma fünf Prozent. Die Kontrolle bleibt bei acht Prozent. Das ist ein halbes Prozent Vorsprung. Das ist immer noch statistisch signifikant, aber viel kleiner, als Woche eins gezeigt hat.
Wenn du in Woche eins aufgehört hättest, hättest du den Nutzen der Variante um fünfzig Prozent überschätzt.
So vermeidest du ihn
Lege die Laufzeit fest, bevor der Test startet. Zwei Wochen sind der Standard. Schreib es auf. Schau nicht vorher nach. Setze dir eine Kalendererinnerung für das Enddatum.
Mehrere Änderungen gleichzeitig testen
Der Fehler
Du änderst die Überschrift. Du änderst die Farbe des Buttons. Du änderst den Text des Buttons. Du änderst die Formularfelder. Vier Änderungen auf einmal.
Warum das ein Fehler ist
Die Variante konvertiert mit zwölf Prozent. Die Kontrolle mit zehn Prozent. Zwei Prozent Vorsprung. Du setzt alle vier Änderungen um.
Einen Monat später sinkt die Conversion auf neun Prozent. Etwas ist kaputtgegangen. Aber welche Änderung war es? Die Überschrift? Der Button? Das Formular? Du hast vier Dinge geändert und weißt nicht, welches geschadet hat. Du kannst nicht lernen, welche Änderung gut war und welche schlecht.
So vermeidest du ihn
Immer nur eine Änderung. Ändere nur die Überschrift. Teste sie. Setze sie um, wenn sie gewinnt. Dann teste die Farbe des Buttons. Dann das Formular. Eine Variable nach der anderen.
Tracking-Fehler und defekte Tests
Der Fehler
Der Test läuft zwei Wochen. Die Ergebnisse zeigen die Variante mit fünf Prozent vorn. Du setzt um. Einen Monat später merkst du, dass das Tracking defekt war. Der Conversion-Pixel wurde bei neunzig Prozent der Besucher nicht ausgelöst.
Warum das ein Fehler ist
Die Ergebnisse sind wertlos. Die Umsetzung beruhte auf schlechten Daten. Du hast Entwicklungsaufwand in etwas gesteckt, das auf ungültigen Ergebnissen basiert.
So vermeidest du ihn
Prüfe den Testaufbau stichprobenartig. Gehe einen einfachen Ablauf von Hand durch. Wird das Ereignis ausgelöst? Prüfe die Tracking-Protokolle. Kontrolliere, ob der Pixel feuert. Prüfe das Tracking, bevor du einen Gewinner ausrufst.
Zu kleine Stichprobe
Der Fehler
Du führst einen Test mit nur fünfhundert Conversions insgesamt durch. Das sind zweihundertfünfzig pro Variante. Bei so einer kleinen Stichprobe ist das Zufallsrauschen riesig. Unterschiede von fünf Prozent sind normal. Unterschiede von zehn Prozent sind keine Überraschung.
Du siehst die Variante fünf Prozent über der Kontrolle. Keine statistische Signifikanz. Du erklärst den Test für nicht aussagekräftig.
Warum das ein Fehler ist
Der Test hatte von Anfang an zu wenig Teststärke. Du hättest wissen müssen, dass er zwei Wochen braucht und nicht eine. Tests mit zu geringer Teststärke verschwenden Zeit und liefern keine klaren Ergebnisse.
So vermeidest du ihn
Berechne die Stichprobengröße, bevor du startest. Wie viele Conversions brauchst du? Wie lange dauert es, bis du sie hast? Wenn der Test drei Monate braucht, teste lieber etwas anderes, das schneller Ergebnisse liefert.
Äußere Einflüsse nicht berücksichtigen
Der Fehler
Du führst den Test von Dienstag bis Donnerstag durch. Die Ergebnisse vom Montag liegen vor dem Test. Die Ergebnisse vom Freitag liegen nach dem Test. Du vergleichst Freitag mit Montag.
Aber am Freitag kommt anderer Traffic als am Montag. Freitag ist lockeres Stöbern zum Wochenende. Montag ist Stöbern im Arbeitsalltag. Andere Zielgruppen. Andere Conversion-Raten. Du schreibst den Unterschied dem Test zu, obwohl er in Wahrheit von der Zusammensetzung des Traffics kommt.
Warum das ein Fehler ist
Du hast eine Änderung umgesetzt, weil sich die Traffic-Zusammensetzung unterschied, nicht weil die Variante besser war. Wenn eine neue Zusammensetzung kommt, halten die Ergebnisse nicht mehr.
So vermeidest du ihn
Lass den Test lange genug laufen, damit sich die Traffic-Zusammensetzung ausgleicht. Zwei Wochen enthalten Werktage und Wochenenden. Eine Woche kann verzerrt sein.
Die Testhypothese mitten im Test ändern
Der Fehler
Du startest den Test mit der Hypothese: Ein kürzeres Formular erhöht die Anzahl der Einsendungen.
Auf halber Strecke bekommst du neue Daten vom Support. Kunden wünschen sich mehr Auswahl bei den Feldern. Du änderst die Hypothese: Mehr Felder könnten sogar helfen. Jetzt hast du einen Test, der für eine Hypothese aufgebaut wurde, aber als andere Hypothese ausgewertet wird.
Warum das ein Fehler ist
Das verwirrt die Ergebnisse. Du kannst nicht sagen, welche Hypothese der Test tatsächlich geprüft hat. Du setzt womöglich auf Grundlage einer verworrenen Deutung um.
So vermeidest du ihn
Schreibe die Hypothese auf, bevor du den Test startest. Bleib dabei. Wenn du neue Informationen bekommst und eine andere Hypothese testen willst, beende zuerst den laufenden Test. Dann starte einen neuen.
Gewinner nicht umsetzen
Der Fehler
Der Test ist zu Ende. Die Variante gewinnt. Du sagst: „Das setzen wir später um.“ Das Später kommt nie. Der Test hat keinen Wert geschaffen. Du hast Zeit verschwendet.
Warum das ein Fehler ist
Gewinner schaffen nur Wert, wenn sie umgesetzt werden. Ein Testprogramm wirkt nur dann kumulativ, wenn du Gewinner konsequent umsetzt. Ein einziger nicht umgesetzter Gewinner nimmt dem Team den Schwung und den Glauben ans Testen.
So vermeidest du ihn
Lege die Umsetzung fest, bevor du den Test startest. Wenn die Variante gewinnt, setze sie innerhalb einer Woche um. Wenn die Kontrolle gewinnt, mache die Änderung sofort rückgängig. Lass Gewinner nicht liegen.
Ergebnisse nicht segmentieren
Der Fehler
Die Gesamtergebnisse zeigen, dass die Variante gewinnt. Du setzt sie für alle um.
Aber die Segmentierung zeigt: Auf dem Desktop gewinnt die Variante. Auf dem Smartphone verliert sie. Bei internationalen Besuchern hat sie keine Wirkung. Die Umsetzung für alle schadet den mobilen und internationalen Besuchern.
Warum das ein Fehler ist
Du hast für den Gesamtdurchschnitt optimiert, aber bestimmten Segmenten geschadet. Der mobile Traffic wächst vielleicht schneller als der Desktop-Traffic. Mit der Umsetzung der Variante schadest du dem Segment, das künftig wächst.
So vermeidest du ihn
Prüfe immer die Segmentergebnisse, bevor du einen Gesamtgewinner ausrufst. Ein Gewinner gilt vielleicht nicht für alle. Setze ihn für die Segmente um, in denen er gewinnt. Lass ihn bei den Segmenten weg, in denen er nicht gewinnt.
Gewinner und Ursache verwechseln
Der Fehler
Der Test zeigt, dass die Variante die Kontrolle schlägt. Du nimmst an, dass die Variante besser ist. Aber was, wenn die Kontrolle einfach kaputt ist? Der Button der Kontrolle funktioniert nicht. Alle sind verwirrt. Der Button der Variante funktioniert einwandfrei. Die Variante gewinnt, weil die Kontrolle kaputt ist, nicht weil die Variante an sich besser ist.
Warum das ein Fehler ist
Du ziehst die falsche Lehre. Du glaubst, dass der Button-Stil gewinnt, dabei hast du nur gelernt: „Ein funktionierender Button schlägt einen kaputten Button.“ Das hat andere Folgen für künftige Tests.
So vermeidest du ihn
Finde heraus, warum die Variante gewonnen hat. War die Variante besser oder die Kontrolle schlechter? Das hat unterschiedliche Folgen.
Denselben Test wiederholen und auf ein anderes Ergebnis hoffen
Der Fehler
Test eins: Die Variante verliert gegen die Kontrolle. Du versuchst es noch einmal mit einer kleinen Abwandlung. Test zwei: dasselbe Ergebnis. Die Kontrolle gewinnt wieder. Du versuchst es noch einmal. Test drei: dasselbe Muster. Die Kontrolle gewinnt weiter.
Du testest immer wieder dasselbe und bekommst immer dasselbe Ergebnis.
Warum das ein Fehler ist
Du verschwendest Testbudget für einen Ansatz, der nicht funktioniert. Besser ist es, auf einen anderen Ansatz zu wechseln, als dieselbe verlierende Strategie weiter zu testen.
So vermeidest du ihn
Hör auf, dasselbe zu testen. Du brauchst eine andere Strategie. Der aktuelle Ansatz funktioniert nicht. Wechsle zu einer anderen Variante.
Ergebnisse und Erkenntnisse nicht dokumentieren
Der Fehler
Der Test ist zu Ende. Die Ergebnisse zeigen einen Gewinner. Du setzt um. Dann vergisst du ihn.
Sechs Monate später fragt ein neues Teammitglied: „Was haben wir über Überschriften gelernt?“ Du hast keine Dokumentation. Ihr fangt bei null an.
Warum das ein Fehler ist
Du verlierst Wissen im Unternehmen. Jeder Test sollte dir etwas beibringen. Ohne Dokumentation verschwindet das Wissen, wenn Teammitglieder gehen.
So vermeidest du ihn
Dokumentiere jeden Test. Hypothese. Ergebnisse. Erkenntnis. Teile sie mit dem Team. Baue Wissen im Unternehmen auf.
Häufige Fragen
Schaue ich schon vorzeitig nach, wenn ich die Testergebnisse einmal pro Woche prüfe?
Nein, solange du dich auf zwei Wochen Laufzeit festlegst und dein Verhalten nicht an den Ergebnissen aus Woche eins ausrichtest. Du beobachtest, aber du brichst nicht früh ab. Nachschauen ist in Ordnung. Früh abbrechen ist Peeking. Beispiel: Woche eins zeigt die Variante bei neun Prozent, die Kontrolle bei acht Prozent. Die Variante sieht wie der Gewinner aus. Setze noch nicht um. Bleib bei den vollen zwei Wochen. Woche zwei zeigt die Variante vielleicht bei acht Komma acht Prozent, die Kontrolle bei acht Prozent. Der Unterschied wird kleiner. Wenn du in Woche eins aufgehört hättest, hättest du den Nutzen um fünfzig Prozent überschätzt. Lege die Laufzeit fest, schau wöchentlich nach, wenn du magst, aber handle nicht auf Grundlage vorläufiger Ergebnisse. Mit dem Website-Builder von WEMASY kannst du das direkt auf deiner Website einrichten.
Kann ich zwei ähnliche Dinge gleichzeitig testen (verschiedene Überschriften in verschiedenen Regionen)?
Ja, wenn die Regionen wirklich getrennt sind und du sie nicht miteinander vergleichst. Teste Überschrift A gegen B beim US-Traffic. Teste Überschrift C gegen D beim EU-Traffic. Das sind getrennte Tests. Parallele Tests sind in Ordnung. Aber vergleiche nicht A mit C über die Regionen hinweg, weil die Zusammensetzung anders ist. Regionale Zielgruppen konvertieren unterschiedlich. In den USA liegt die Basis vielleicht bei zwölf Prozent. In der EU vielleicht bei acht Prozent. Überschrift A gewinnt in der US-Region. Überschrift C gewinnt in der EU-Region. Du kannst nicht schließen, dass Überschrift A überall besser ist, weil die Regionen unterschiedliche Ausgangswerte haben. Teste parallel, aber werte getrennt aus.
Wenn die Ergebnisse keinen signifikanten Unterschied zeigen, soll ich dann annehmen, dass die Varianten gleich sind?
Nein. Nimm an, dass der Unterschied unklar ist. Sie könnten gleich sein. Sie könnten auch verschieden sein, und es fehlten nur Daten, um den Unterschied zu erkennen. Beispiel: Die Kontrolle hat fünfhundert Conversions. Die Variante hat fünfhundertfünf Conversions. Ein Prozent Unterschied. Achtundachtzig Prozent Konfidenz. Nicht signifikant. Du kannst nicht schließen, dass beide gleich sind. Du kannst nur schließen, dass der Unterschied unklar ist. Deine Optionen: Lass den Test länger laufen, um mehr Daten zu bekommen. Oder wenn die Variante leichter umzusetzen ist als die Kontrolle, wechsle zur Variante, denn im schlechtesten Fall sind beide gleich und im besten Fall ist die Variante besser. Wenn die Kontrolle leichter ist, bleib bei der Kontrolle.
Was ist, wenn mein Test ein signifikantes Ergebnis zeigt, es sich aber nach Bauchgefühl falsch anfühlt?
Vertraue der Statistik, nicht dem Bauchgefühl. Mathematik ist klüger als Intuition. Wenn die Statistik sagt, dass das Ergebnis echt ist (fünfundneunzig Prozent Konfidenz), ist es das wahrscheinlich auch. Dein Bauchgefühl kann falsch liegen. Es beruht auf begrenzter Erfahrung. Die Statistik beruht auf tausenden Datenpunkten von Besuchern. Setze auf Grundlage der Statistik um. Beispiel: Du denkst, ein roter Button funktioniert besser als ein blauer. Der Test zeigt, dass der blaue Button deutlich gewinnt. Dein Bauchgefühl lag falsch. Setze den blauen Button um. Hättest du deinem Bauchgefühl vertraut und die Testdaten ignoriert, hättest du den roten Button umgesetzt und die Conversion geschädigt.
Kann ich mehrere kleine, nicht signifikante Ergebnisse zu einem großen, signifikanten Ergebnis zusammenfassen?
Nein. Jeder Test steht für sich. Du kannst nicht aussagelose Tests zu einem aussagekräftigen Ergebnis zusammenlegen. Test eins zeigt fünfundachtzig Prozent Konfidenz, dass die Variante gewinnt. Test zwei zeigt achtzig Prozent Konfidenz für dieselbe Variante. Zusammen fünfundneunzig Prozent Konfidenz? Nein. So funktioniert Statistik nicht. Jeder Test ist unabhängig. Sie zusammenzulegen ist statistischer Unsinn. Führe von Anfang an einen richtig dimensionierten Test mit ausreichender Teststärke durch. Entweder du hast Signifikanz oder nicht.
Wenn der Test für ein Segment ein starkes Ergebnis zeigt, für das Gesamtergebnis aber ein schwaches, was setze ich um?
Setze nur dann für das Segment um, wenn das starke Ergebnis für das Segment statistisch signifikant ist. Wenn das Segment klein ist (zehn Prozent des Traffics), ist die Schwelle für Signifikanz schwerer zu erreichen. Es könnte ein falsch positives Ergebnis im Segment sein. Prüfe die Signifikanz gezielt für das Segment, nicht nur insgesamt. Beispiel: Der Gesamttest zeigt die Variante bei neun Prozent, die Kontrolle bei acht Komma neun Prozent. Gerade so signifikant. Aber das Desktop-Segment zeigt die Variante bei zehn Prozent, die Kontrolle bei acht Prozent. Zwei Prozent Vorsprung auf dem Desktop. Stark und signifikant für den Desktop. Das mobile Segment zeigt die Variante bei acht Prozent, die Kontrolle bei acht Prozent. Kein Unterschied. Setze nur für den Desktop um. Setze nicht für das Smartphone um. Verschiedene Segmente haben verschiedene optimale Varianten.