A/B-Testing: wie aus einer Beobachtung ein belastbares Experiment wird

Ein A/B-Test ist ein kontrolliertes Experiment: Nutzer werden nach dem Zufallsprinzip auf zwei Varianten verteilt, A bildet meist den bestehenden Zustand ab, B enthält genau eine gezielte Änderung. Danach wird geprüft, ob sich beide Gruppen bei einer vorab festgelegten Zielgröße belastbar unterscheiden.

Das methodische Fundament dafür ist älter als das Web. Ronald A. Fisher beschrieb den randomisierten Gruppenvergleich mit Signifikanztest 1935 in „The Design of Experiments“. Der entscheidende Punkt ist die Randomisierung: Sie verteilt bekannte und unbekannte Einflussfaktoren im Mittel gleichmäßig auf beide Gruppen. Nur deshalb darf ein beobachteter Unterschied überhaupt auf die getestete Änderung zurückgeführt werden und nicht auf Wochentag, Kampagne, Gerät oder Zufall.

Diese Kausalaussage ist der ganze Ertrag des Verfahrens. Sie geht verloren, sobald Hypothese, Stichprobe, Laufzeit und Auswertungsregel nicht vor dem ersten Blick auf die Zahlen feststehen. Ein Variantenvergleich ohne diese Vorarbeit liefert Zahlen, aber keine Erkenntnis.

Von der Beobachtung zur prüfbaren Hypothese

Am Anfang steht eine Beobachtung: ein Prozess bleibt hinter der Erwartung zurück, eine Kennzahl kippt, Nutzer verschwinden an einer bestimmten Stelle. Eine Beobachtung beschreibt einen Zustand, sie erklärt ihn nicht. Zwischen Beobachtung und Experiment liegt die Übersetzung in eine widerlegbare Behauptung.

Eine testbare Hypothese enthält vier Bestandteile: eine konkrete Änderung, einen vermuteten Wirkmechanismus, eine messbare Zielgröße und eine erwartete Richtung samt Mindestgröße. In einer Formulierung:

Wenn Änderung X eingeführt wird, verändert sich Kennzahl Y in Population Z um mindestens M, weil Mechanismus W wirkt.

„Die neue Variante funktioniert besser“ erfüllt das nicht. Offen bleibt, was besser heißt, für wen es gelten soll und welcher Unterschied groß genug wäre, um eine Entscheidung zu tragen. Ohne diese Angaben lässt sich das Ergebnis im Nachhinein in jede Richtung lesen.

Vor dem Start gehören deshalb schriftlich festgelegt: die untersuchte Population, die Randomisierungseinheit (Nutzer, Konto oder Sitzung), Kontroll- und Testvariante, die primäre Zielmetrik, die Schutzmetriken, der Mindesteffekt, Signifikanzniveau und Power, die daraus berechnete Stichprobengröße, die Mindestlaufzeit und die Entscheidungsregel. Wer erst nach Sichtung der Daten festlegt, welche Kennzahl zählte, präsentiert zuverlässig Rauschen als Ergebnis.

Dass die meisten plausiblen Ideen scheitern, ist dabei der Normalfall und kein Betriebsunfall. Ronny Kohavi und Stefan Thomke berichteten 2017 in der Harvard Business Review, dass bei Microsoft nur etwa ein Drittel der getesteten Ideen die Metrik verbesserte, für die sie entworfen worden war. Der Wert des Verfahrens liegt genau darin, überzeugend klingende Annahmen von nachweisbaren Wirkungen zu trennen.

Der Mindesteffekt kommt aus der Entscheidung, nicht aus dem Traffic

Der minimal nachweisbare Effekt (Minimum Detectable Effect, MDE) ist der kleinste Unterschied, für den der Test mit der geplanten Stichprobe die gewünschte Power erreicht. Er wird häufig falsch herum bestimmt. Die Frage lautet nicht: Welchen Effekt können wir mit dem vorhandenen Traffic gerade noch erkennen? Sie lautet: Ab welcher Verbesserung wäre die Änderung die Umsetzung, das Risiko und die dauerhafte Pflege wert?

Dabei müssen absolute und relative Angaben sauber getrennt bleiben. Steigt eine Rate von 3,0 auf 3,3 Prozent, sind das 0,3 Prozentpunkte absolut und 10 Prozent relativ. Relative Werte lassen kleine absolute Verschiebungen deutlich größer wirken.

Der MDE ist außerdem keine Erkennungsschwelle. Ein Test kann zufällig auch für kleinere Effekte Signifikanz erreichen. Nur ist die Nachweiswahrscheinlichkeit dafür nicht mehr abgesichert, und die Effektschätzung eines knapp signifikanten, unterdimensionierten Tests ist systematisch zu optimistisch.

Die Stichprobenrechnung beendet viele Tests, bevor sie beginnen

Für einen Vergleich zweier Anteile hängt der Stichprobenbedarf an vier Größen: Ausgangsrate, Mindesteffekt, Signifikanzniveau Alpha und Power. Das folgende Beispiel nimmt eine Ausgangsrate von 3 Prozent an, Alpha von 5 Prozent zweiseitig, Power von 80 Prozent und eine hälftige Aufteilung.

Die Tabelle zeigt die Regel, die Kohavi, Tang und Xu formulieren: Der Bedarf wächst näherungsweise quadratisch mit der Umkehrung des Mindesteffekts. Wer einen halb so großen Effekt nachweisen will, braucht rund die vierfache Datenmenge.

Praktisch heißt die mittlere Zeile: rund 106.000 Nutzer insgesamt. Bei 1.000 relevanten Nutzern pro Tag läuft dieser Test etwa 106 Tage. Damit ist für viele Seiten bereits entschieden, dass ein Zehn-Prozent-Effekt auf diesem Weg nicht messbar ist. Diese Rechnung gehört an den Anfang, nicht ans Ende.

Wenn das Ergebnis nicht trägt, gibt es vier ehrliche Auswege: den Mindesteffekt anheben und nur noch grobe Änderungen testen; auf eine häufigere Zielgröße weiter oben im Prozess ausweichen, sofern deren Zusammenhang mit dem eigentlichen Ziel belegt ist; die Streuung mit Varianzreduktionsverfahren senken, die Vorperiodendaten derselben Nutzer einbeziehen; oder bewusst nicht zu testen und die Entscheidung als Urteil zu kennzeichnen. Was nicht funktioniert, ist ein zu kleiner Test mit anschließender Interpretation seiner Zufallsausschläge.

Bei kontinuierlichen Kennzahlen wie Umsatz je Nutzer zählt statt der Ausgangsrate die Streuung. Stark schiefe Verteilungen mit einzelnen Extremwerten treiben den Bedarf erheblich nach oben.

Laufzeit: vollständige Zyklen statt erreichter Zahl

Die rechnerische Beobachtungszahl bestimmt das Testende nicht allein. Nutzerverhalten schwankt im Wochenrhythmus, nach Tageszeit, Saison und Kampagnenlage. Ein Experiment sollte deshalb über volle Wochen laufen und nicht nach einzelnen guten Tagen abgebrochen werden.

Vor dem Start werden zwei Bedingungen fixiert: die erforderliche Stichprobengröße und eine Mindestlaufzeit über vollständige Zyklen. Beendet wird erst, wenn beide erfüllt sind. Feiertage, Störungen und Sonderereignisse werden dokumentiert und bei der Interpretation berücksichtigt. Sie rechtfertigen keine nachträgliche Auswahl der günstigen Tage.

Was ein p-Wert sagt und was nicht

Ein p-Wert beantwortet eine eng gefasste Frage: Wie wahrscheinlich wären die beobachteten oder noch extremere Daten, wenn die Nullhypothese und sämtliche Modellannahmen gelten? Mehr steht nicht darin.

Ein p-Wert von 0,03 heißt nicht, dass die Nullhypothese zu 3 Prozent wahr ist. Er heißt nicht, dass Variante B zu 97 Prozent besser ist. Und er sagt nichts über die Größe des Effekts. Die American Statistical Association stellte 2016 ausdrücklich klar, dass ein p-Wert weder die Wahrscheinlichkeit der Hypothese angibt noch einen Effekt misst.

Zu jeder Auswertung gehört deshalb ein Konfidenzintervall. Es zeigt, welche Effektgrößen mit den Daten vereinbar sind. Ein signifikantes Ergebnis kann praktisch bedeutungslos sein. Umgekehrt kann eine attraktive Punktschätzung zu einem Intervall gehören, das sowohl deutlichen Nutzen als auch spürbaren Schaden einschließt. Das ist keine Entscheidungsgrundlage, sondern eine Aufforderung, weiter zu messen.

Power, falsch negative Ergebnisse und die Basisrate

Power ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt der angenommenen Größe als signifikant zu erkennen. 80 Prozent Power bedeutet: Existiert der Effekt wirklich, würden etwa 80 Prozent gleich geplanter Experimente die Nullhypothese verwerfen. Die restlichen 20 Prozent sind das Risiko eines falsch negativen Ergebnisses.

Ein nicht signifikantes Ergebnis beweist damit keine Gleichwertigkeit. Es kann bedeuten: es gibt keinen relevanten Unterschied, der Effekt ist kleiner als geplant, die Daten streuen stärker als erwartet oder die Stichprobe war zu klein. Wer Gleichwertigkeit zeigen will, braucht dafür eigene Hypothesen und Äquivalenztests.

Power und Basisrate zusammen erklären auch, wie belastbar ein Signifikanzergebnis wirklich ist. Nimmt man den von Kohavi und Thomke berichteten Anteil funktionierender Ideen von einem Drittel als Vorwissen, Alpha von 5 Prozent und Power von 80 Prozent, dann sind unter 300 Tests etwa 267 richtig positiv und 33 falsch positiv: Rund jedes neunte signifikante Ergebnis ist ein Fehlalarm. Sinkt die Power auf 50 Prozent und funktioniert nur jede fünfte Idee, ist es bereits mehr als jedes vierte. Unterdimensionierte Tests untergraben nicht nur die Chance, etwas zu finden, sondern auch die Verlässlichkeit dessen, was gefunden wird.

Vier Fehler, die ein Ergebnis wertlos machen

Peeking. Wer einen laufenden Test wiederholt prüft und beendet, sobald der p-Wert erstmals unter die Schwelle fällt, treibt die tatsächliche Falsch-positiv-Rate deutlich über das gewählte Signifikanzniveau. Johari, Koomen, Pekelis und Walsh haben das 2017 auf der KDD beschrieben. Der Mechanismus ist simpel: Effektschätzung und p-Wert schwanken während der Laufzeit, auch ohne jede reale Wirkung wird die Grenze zeitweise unterschritten. Wer genau dann stoppt, wählt systematisch Extremwerte aus. Die Verzerrung wächst mit der Zahl der Blicke. Sauber lösen lässt sich das nur mit dafür ausgelegten sequenziellen Verfahren, die die Entscheidungsgrenzen an wiederholte Auswertungen anpassen. Ein gewöhnlicher Signifikanztest wird nicht dadurch sequenziell gültig, dass ein Dashboard ihn ständig neu berechnet.

Sample Ratio Mismatch. Bei geplanter Aufteilung von 50 zu 50 müssen ungefähr gleich viele Einheiten in beiden Gruppen ankommen. Eine statistisch auffällige Abweichung ist ein Sample Ratio Mismatch. Fabijan und Kollegen zeigten 2019, dass ein signifikanter SRM als Implementierungsfehler zu behandeln ist und das Ergebnis unbrauchbar macht. Typische Ursachen sind fehlerhafte Zuweisungslogik, unterschiedliche Ladefehler zwischen den Varianten, gerätespezifische oder botbedingte Ausschlüsse, inkonsistente Filter und verlorene Beobachtungen. Der SRM-Test gehört vor die Ergebnisauswertung, nicht danach, sonst wird er zur nachträglichen Ausrede.

Randomisierungseinheit ungleich Auswertungseinheit. Wird nach Nutzer randomisiert, aber nach Sitzung oder Seitenaufruf ausgewertet, sind die Beobachtungen nicht unabhängig. Vielnutzer gehen mehrfach ein, die Streuung wird unterschätzt, die Konfidenzintervalle werden zu eng und die Falsch-positiv-Rate steigt. Die Auswertungseinheit muss der Randomisierungseinheit entsprechen, oder das Verfahren muss die Gruppierung explizit berücksichtigen.

Multiples Testen. Wer viele Varianten, Segmente oder Kennzahlen gleichzeitig prüft, kauft sich Zufallstreffer. Bei zwanzig unabhängigen Vergleichen mit Alpha von 5 Prozent ist mindestens ein signifikantes Ergebnis auch ohne jeden realen Effekt der Normalfall. Die wichtigste Gegenmaßnahme ist eine einzige vorab benannte primäre Hypothese mit einer primären Metrik; alles Weitere ist sekundär oder explorativ. Sind mehrere gleichrangige Vergleiche unvermeidbar, muss das Niveau angepasst werden, etwa nach Bonferroni, nach Holm oder über die Kontrolle der False Discovery Rate. Nachträgliche Segmentanalysen fallen ebenfalls darunter: In irgendeiner kleinen Teilgruppe lässt sich fast jedes neutrale Ergebnis positiv erzählen. Solche Funde sind Hypothesen für den nächsten Test, keine Befunde.

Novelty-Effekt und zeitlich instabile Wirkungen

Eine neue Variante kann kurzfristig Aufmerksamkeit erzeugen, gerade weil sie ungewohnt ist. Dieser Novelty-Effekt täuscht eine Verbesserung vor, die nach Tagen oder Wochen verschwindet. Das Gegenteil gibt es ebenso: Nutzer müssen sich erst umgewöhnen, bevor eine positive Wirkung sichtbar wird.

Prüfen lässt sich das, indem der Effekt über die Zeit betrachtet und getrennt für Erstnutzer und wiederkehrende Nutzer ausgewertet wird. Zeigt sich die Wirkung ausschließlich bei bereits vertrauten Nutzern in den ersten Tagen und flacht danach ab, ist Novelty die naheliegende Erklärung. Diese Zeitbetrachtung darf allerdings nicht dazu dienen, den günstigsten Abschnitt auszuwählen. Sie beantwortet nur eine Frage: Bleibt der Effekt über einen entscheidungsrelevanten Zeitraum stabil?

Einwilligung und Werkzeug als Teil der Validität

Das frühere TTDSG heißt seit dem 14. Mai 2024 TDDDG. Sein § 25 verlangt eine Einwilligung für das Speichern und Auslesen von Informationen auf Endgeräten, soweit diese nicht unbedingt erforderlich sind; cookie- oder storagebasierte Testwerkzeuge fallen darunter. Methodisch ist das mehr als eine Rechtsfrage: Wenn nur einwilligende Nutzer randomisiert oder gemessen werden, ist die untersuchte Population eine Teilmenge mit eigenem Verhalten. Das Ergebnis gilt dann für diese Teilmenge, und Unterschiede im Einwilligungsverhalten zwischen den Varianten können sich als SRM zeigen. Beides gehört vorab dokumentiert.

Das Werkzeug folgt der Methode, nicht umgekehrt. Seit der Einstellung von Google Optimize und Optimize 360 am 30. September 2023 muss ein Testwerkzeug ohnehin separat gewählt und angebunden werden. Das Auswahlkriterium ergibt sich aus allem Vorherigen: Unterstützt es eine feste, vorab berechnete Stichprobe, meldet es einen Sample Ratio Mismatch, und wenn es laufende Zwischenstände zeigt, rechnet es dann sequenziell korrekt?

Von der Zahl zur Entscheidung

Eine belastbare Entscheidung besteht nicht aus Vorzeichen und p-Wert. Sie beantwortet der Reihe nach acht Fragen:

1. War die Randomisierung intakt, liegt kein SRM vor?
2. Wurden Stichprobengröße und Mindestlaufzeit erreicht?
3. Entsprach die Auswertung exakt dem vorab festgelegten Plan?
4. Passen Randomisierungseinheit und Auswertungseinheit zusammen?
5. Ist der Effekt statistisch abgesichert?
6. Erreicht die Schätzung den vorab definierten Mindesteffekt, und schließt das Konfidenzintervall relevante Nachteile aus?
7. Bleiben die Schutzmetriken in ihren Grenzen?
8. Ist die Wirkung über Zeit und relevante Gruppen stabil?

Beide Enden des Spektrums sind dokumentiert. Bei Bing erhöhte laut Kohavi und Thomke eine Änderung an der Darstellung von Anzeigenüberschriften den Umsatz um 12 Prozent, eine kleine Ursache mit großer Wirkung, die ohne Experiment niemand priorisiert hätte. Der ehemalige Google-Designer Douglas Bowman beschrieb 2009 öffentlich, dass ein Team 41 Blautöne gegeneinander getestet habe. Dieses Beispiel steht seither für konsequente Messung und zugleich für ihre Grenze: Ein Testapparat beantwortet die Frage, die man ihm stellt, und keine andere.

Gutes A/B-Testing ersetzt das Urteil nicht, es diszipliniert es. Es zwingt dazu, Annahmen vor der Messung zu präzisieren, Unsicherheit sichtbar zu halten und Entscheidungen an Regeln zu binden, die vorher galten. Ein signifikantes Ergebnis kann zu klein sein, um eine Änderung zu tragen. Ein nicht signifikantes kann zu unpräzise sein, um eine Wirkung auszuschließen; die korrekte Schlussfolgerung lautet dann nicht „kein Unterschied“, sondern „mit diesen Daten nicht entschieden“. Wer beide Sätze aussprechen kann, testet richtig.