Du hast eine Überschrift auf deiner Produktseite. Du denkst, eine andere Überschrift könnte besser konvertieren. Du könntest raten. Oder du zeigst der Hälfte deiner Besucher die alte Überschrift und der anderen Hälfte die neue, misst die Conversion-Rate für beide und lässt die Daten entscheiden, welche besser ist. Das ist die A/B-Test-Analyse.
Ein A/B-Test nutzt Daten, um Varianten zu vergleichen und den Gewinner zu finden. Dieser Artikel zeigt, wie A/B-Tests funktionieren, was statistische Signifikanz bedeutet, warum die Stichprobengröße wichtig ist, welche typischen Fehler beim Testen passieren und wie du Varianten auswählst, die einen Test wert sind.
Ein A/B-Test (auch Split-Test genannt) vergleicht zwei Versionen von etwas, um zu sehen, welche besser abschneidet. Version A (Kontrolle): deine aktuelle Überschrift. Version B (Variante): eine andere Überschrift. Du teilst deinen Traffic 50/50 auf, misst, welche Überschrift mehr konvertiert, und bestimmst einen Gewinner.
Ein A/B-Test beantwortet: Ist diese Änderung wirklich besser, oder ist der Unterschied nur Zufall? Ohne Tests verlässt du dich auf dein Bauchgefühl. Mit Tests verlässt du dich auf Daten.
Was ein A/B-Test ist und was er beantwortet
Ein A/B-Test vergleicht zwei Versionen und misst, welche bei einer bestimmten Kennzahl besser abschneidet. Klickrate. Conversion-Rate. Verweildauer. Umsatz pro Besucher. Du lässt den Test laufen, bis du genug Daten für eine Entscheidung hast.
Ein A/B-Test beantwortet: Ist der Unterschied zwischen diesen Versionen echt oder zufällig? Lohnt sich diese Änderung oder sollte ich etwas anderes probieren? Die Antwort kommt aus Daten, nicht aus Meinungen.
Wie statistische Signifikanz funktioniert
Du testest zwei Überschriften. Überschrift A konvertiert mit 10 Prozent (100 von 1.000). Überschrift B konvertiert mit 10,5 Prozent (105 von 1.000). Überschrift B ist besser. Aber ist der Unterschied echt oder nur zufällige Schwankung?
Statistische Signifikanz beantwortet: Wie wahrscheinlich ist es, dass du einen so großen Unterschied allein durch Zufall siehst, wenn es zwischen den Überschriften gar keinen Unterschied gäbe? Ist die Wahrscheinlichkeit sehr niedrig (unter 5 Prozent), ist der Unterschied statistisch signifikant. Du kannst darauf vertrauen, dass er echt ist.
Ist die Wahrscheinlichkeit hoch (über 5 Prozent), kann der Unterschied zufälliges Glück sein. Du solltest nicht danach handeln.
Die meisten Tests verlangen 95 Prozent Konfidenz, das heißt, die Wahrscheinlichkeit, dass der Unterschied zufällig ist, darf nur 5 Prozent betragen. Manche Tests verlangen 99 Prozent Konfidenz (nur 1 Prozent Zufallswahrscheinlichkeit).
Warum die Stichprobengröße beim Testen wichtig ist
Du testest Überschrift B mit 20 Leuten und bekommst eine Conversion-Rate von 20 Prozent (4 Conversions). Überschrift A kam auf 10 Prozent (2 Conversions). Überschrift B ist besser, oder? Vielleicht. Oder es ist bei so einer kleinen Stichprobe nur Zufall.
Teste dieselben Überschriften mit 10.000 Leuten. Überschrift A bekommt 1.000 Conversions von 10.000 (10 Prozent). Überschrift B bekommt 950 Conversions von 10.000 (9,5 Prozent). Jetzt ist Überschrift A besser. Bei einer größeren Stichprobe glättet sich der Zufall und echte Muster treten hervor.
Größere Stichproben geben dir mehr Vertrauen in das Ergebnis. Kleinere Stichproben sind unruhig und unzuverlässig.
Häufige Fehler bei A/B-Tests
Den Test zu früh beenden: Du siehst nach zwei Tagen eine Variante vorn. Du erklärst den Sieg und schaltest sie scharf. Aber nach zwei Wochen dreht sich das Muster und das Original gewinnt. Die frühen Daten waren zufällige Schwankung. Lass den Test lange genug laufen (mindestens zwei Wochen, idealerweise vier).
Zu viele Tests gleichzeitig laufen lassen: Du testest Überschrift, Button-Farbe und Formularlänge gleichzeitig. Eine Variante gewinnt, aber du weißt nicht, welches Element den Ausschlag gab. Teste eine Sache nach der anderen.
Unbedeutende Änderungen testen: Du testest eine Button-Farbe (Blau gegen etwas dunkleres Blau). Der Test braucht 100.000 Besucher, um einen statistisch signifikanten Unterschied zu zeigen. Teste Änderungen, die zählen (Überschrift gegen ein anderes Nutzenversprechen, nicht Blau gegen etwas weniger Blau).
Saisonalität ignorieren: Du führst einen Test von November bis Januar durch. Deine Variante gewinnt. Aber der Januar ist eine ruhigere Saison. Läuft sie das ganze Jahr, verliert sie. Lass Tests immer über mehrere Saisons laufen.
Korrelation mit Kausalität verwechseln: Variante B gewinnt. Du nimmst an, die Änderung habe den Sieg verursacht. Aber du hast während des Tests auch eine Marketingkampagne gestartet. Die Kampagne, nicht die Variante, hat den Sieg verursacht. Berücksichtige äußere Faktoren.
So wählst du aus, was du testest
Teste Änderungen mit hohem Potenzial. Kleine Änderungen bewegen womöglich nichts, selbst wenn sie gewinnen. Eine andere Button-Farbe steigert die Conversion vielleicht um 0,5 Prozent. Eine andere Überschrift vielleicht um 5 Prozent. Teste zuerst größere Änderungen.
Teste Änderungen, die zu deiner Hypothese passen. Lautet deine Hypothese "ein verwirrendes Checkout-Formular verursacht Abbrüche", teste ein einfacheres Formular. Teste nicht beliebige Farben und Button-Positionen.
Teste Änderungen einzeln. Änderst du Überschrift, Button-Text und Formularfelder gleichzeitig, kannst du nicht sagen, was die Verbesserung verursacht hat.
So liest du die Ergebnisse eines A/B-Tests
Das Ergebnis zeigt: Variante A hatte eine Conversion-Rate von 10 Prozent. Variante B hatte eine Conversion-Rate von 11 Prozent. B ist 10 Prozent besser (relative Verbesserung). Das Konfidenzniveau beträgt 95 Prozent, mit einem p-Wert von 0,03.
Das bedeutet: Variante B ist besser. Wir sind zu 95 Prozent sicher, dass dieser Unterschied echt ist und kein zufälliges Glück.
Liegt das Konfidenzniveau bei 85 Prozent (p-Wert 0,15), ist das Ergebnis nicht statistisch signifikant. Du solltest keinen Gewinner erklären. Es braucht mehr Daten.
Wann du weitertesten und wann du aufhören solltest
Teste weiter, wenn: das Ergebnis nicht statistisch signifikant ist und du dein Ziel für die Stichprobengröße noch nicht erreicht hast, oder wenn du etwas Unerwartetes gelernt hast und tiefer graben willst.
Höre auf, wenn: du statistische Signifikanz erreicht hast und einen Gewinner erklären kannst, oder wenn du den Test vier Wochen oder länger laufen lassen hast und die Ergebnisse sich nicht in Richtung Signifikanz bewegen. Dann sind die Varianten wahrscheinlich gleich gut.
Häufig gestellte Fragen
Wie viele Besucher brauche ich für einen gültigen A/B-Test?
Das hängt von deiner Ausgangs-Conversion-Rate ab und davon, wie groß eine Änderung sein soll, die du erkennen willst. Bei einer kleinen Website mit 100 Besuchern pro Tag brauchst du vielleicht zwei Wochen, um statistische Signifikanz zu erreichen. Bei einer großen Website mit 10.000 Besuchern pro Tag vielleicht zwei Tage. Nutze einen Rechner für die Stichprobengröße (die meisten A/B-Test-Tools haben einen eingebaut). Mit dem Website-Builder von WEMASY kannst du das direkt auf deiner Website einrichten.
Was bedeutet ein p-Wert von 0,05?
Es bedeutet, dass mit 5 Prozent Wahrscheinlichkeit der Unterschied, den du siehst, zufälliges Glück ist. Ein Konfidenzniveau von 95 Prozent. Die meisten nutzen 0,05 als Schwelle: Liegt der p-Wert unter 0,05, ist das Ergebnis statistisch signifikant.
Kann ich während eines Tests die Ergebnisse ansehen und früher aufhören, wenn eine Variante vorn liegt?
Nein. Das nennt man Peeking und es führt zu falschen Schlüssen. Hörst du früh auf, weil eine Variante vorn liegt, übersiehst du vielleicht den wahren Gewinner. Lass den Test immer über die geplante Dauer laufen.
Was, wenn mein Test eine sehr große Verbesserung zeigt, aber eine niedrige statistische Signifikanz?
Meistens heißt das, dass deine Stichprobe zu klein ist. Du hast ein vielversprechendes Signal, aber nicht genug Daten, um es zu bestätigen. Lass den Test länger laufen oder hole mehr Traffic.
Soll ich ein Element oder mehrere Elemente gleichzeitig testen?
Teste ein Element nach dem anderen (multivariate Tests sind komplex und lohnen sich meist nur bei sehr hohem Traffic). Wenn du eine Sache testest, weißt du, was die Veränderung verursacht hat.
Wie viele A/B-Tests sollte ich gleichzeitig durchführen?
In der Regel einen nach dem anderen, besonders wenn du neu beim Testen bist. Bist du erfahren und hast viel Traffic, kannst du mehrere Tests gleichzeitig auf verschiedenen Seiten laufen lassen. Führe nicht zwei Tests gleichzeitig auf derselben Seite durch.