Ob Social-Media-Kampagne, Newsletter-Versand oder Landingpage-Gestaltung: A/B-Testing ist eine gängige Methode, um Conversions zu optimieren. Leider gibt es einen Showstopper: Die statistische Aussagekraft von A/B-Tests verpufft vor allem bei kleineren Unternehmen regelmäßig. Die Details schauen wir uns jetzt Schritt für Schritt an.
Dieser erste Teil von „Marketing Analytics: Warum A/B-Testing in der Praxis oft eine statistische Luftnummer ist“ blickt auf folgende Punkte:
- Was ist A/B-Testing?
- A/B-Testing in 5 Schritten
- Statistische Signifikanz einfach erklärt
- Woran A/B-Testing in der Praxis statistisch scheitert
Let’s go.
Was ist A/B-Testing?
A/B-Tests vergleichen zwei Varianten: A und B unterscheiden sich idealerweise nur in einem Aspekt. Alle anderen Faktoren sollen möglichst konstant gehalten werden.
| Typische A/B-Testingfragen im Online-Marketing |
|---|
| Überschriften: Führt eine neue Headline zu mehr Klicks? |
| Call-to-Action (CTA): Wird die Handlungsaufforderung auf einer Landingpage öfter geklickt, wenn sie eine andere Farbe hat? |
| Formular: Wird ein Leadgenerierungs-Formular häufiger abgeschickt, wenn es kürzer ist? |
| Trust-Elemente: Steigt der Umsatz im Online-Shop, wenn vertrauensfördernde Elemente hinzugefügt werden? |
| Mailings: Wird ein Newsletter eher geöffnet, wenn die Betreffzeile eine andere ist? |
Wichtig: Bei einem A/B-Test laufen beide Varianten gleichzeitig, um äußere Faktoren (z. B. Wochentag, Wetter, Kampagnen) weitgehend auszuschließen.
| A/B-Testing: Umsetzungsbeispiele |
|---|
| Call-to-Action (CTA): Text, Farbe, Position |
| Formulare: Anzahl der Felder, Anzahl der Pflichtangaben |
| Bilder & Visuals: Produktfotos, Hero-Image, Videos |
| Überschriften & Texte: Tonalität, Länge, Nutzenargumente |
| Preisgestaltung: Darstellung von Rabatten, Preistabellen |
| Trust-Elemente: Kundenbewertungen, Zertifikate, Garantien |
Statt hier zu raten, entscheidet das Verhalten der Nutzer*innen. A/B-Tests sollen genau dieses User-Verhalten messen.
Beispiel: 10.000 Besucher*innen einer Landingpage
- 5.000 sehen Variante A mit einem orangefarbenen Call-to-Action-Button.
- 5.000 sehen Variante B mit einem hellgrünen Call-to-Action-Button.
Wenn Variante B statistisch signifikant besser konvertiert, kann sie übernommen werden.
A/B-Testing in 5 Schritten
1. Hypothese aufstellen: z. B. „Wenn der CTA-Button auf der Landingpage farblich kontrastreicher ist, klicken mehr Besucher*innen darauf, weil er stärker auffällt.“
2. Variante erstellen: Es wird genau ein Aspekt verändert, alle anderen Elemente bleiben möglichst gleich.
3. Traffic aufteilen: Besucher*innen werden zufällig (randomisiert) auf A oder B geleitet, meist im Verhältnis 50:50.
4. Testlauf & Dauer: Der Test muss genügend Daten liefern, um statistische Signifikanz erreichen zu können.
5. Ergebnisse auswerten: Hat Variante B eine höhere Conversion-Rate? Sind die Ergebnisse statistisch signifikant? Nur dann gilt der Test als statistisch belastbar.
Soweit die Theorie. In der Praxis scheitert A/B-Testing häufig genau an dieser statistischen Voraussetzung. Was das bedeutet, schauen wir uns jetzt an:
A/B-Testing: Statistische Signifikanz einfach erklärt
Stellt euch vor, ihr testet eure Landingpage in zwei Varianten: Sie unterscheiden sich einzig in der Farbe des Call-to-Action-Buttons. Variante A nutzt eine orangefarbene Handlungsaufforderung, Variante B eine hellgrüne.
Nach kurzer Zeit hat die hellgrüne Variante mehr Klicks als die orangefarbene. Jetzt kommt Statistik ins Spiel: Beruht der beobachtete Unterschied wirklich auf der Button-Farbe? Oder ist das Zufall?
Ziel eines A/B-Tests ist statistische Signifikanz: Sie liegt vor, wenn das Ergebnis wahrscheinlich echt ist und mit hoher Wahrscheinlichkeit nicht allein durch Zufall erklärbar ist.
Bleiben wir bei unserem obigen Landingpage-Beispiel:
- Beide Call-to-Action-Varianten erhalten je 1.000 Besucher*innen.
- Auf Variante A (orange) klicken 50 Besucher.
- Auf Variante B (hellgrün) klicken 70 Besucher.
Statistik fragt nun: Ist Variante B wirklich besser? Oder hatte sie einfach nur „Zufallsglück“, dass heute mehr Besucher*innen klickten?
Wie A/B-Testing-Tools das in zwei Schritten prüfen:
1. A/B-Testing-Tools nehmen die echten Daten (Besucherzahlen und Klickzahlen beider Varianten).
2. Sie berechnen eine gemeinsame Grund-Klickrate, so als wären beide Varianten in Wahrheit gleich gut. In diesem Beispiel: 120 Klicks / 2.000 Besucher = 6 % Grund-Klickrate.
Diese angenommene, gemeinsame Klickrate ist die sogenannte Nullhypothese. Sie besagt: „Beide Varianten performen identisch“. Dann simulieren oder berechnen die Tools tausendfach, wie viele Klicks auf A und B entstehen würden, wenn beide Varianten in Wahrheit dieselbe Klickrate von 6 % hätten. Dabei kommt es automatisch zu kleinen Abweichungen: mal ein paar Klicks mehr, mal ein paar weniger. Diese natürlichen Unterschiede entstehen rein durch Zufall.
In der Simulation nutzt das A/B-Tool nicht echte Klicks, sondern die gemeinsame Klickwahrscheinlichkeit. Jeder Besucher erhält eine 6 %-Chance zu klicken, wie ein Münzwurf. Dadurch entstehen bei jeder Simulation leicht unterschiedliche Klickzahlen. Diese zufälligen Abweichungen nennt man Zufallsschwankungen.
Das Tool prüft nun, ob der echte Unterschied (z. B. 70 vs. 50 Klicks) größer ist als das, was der Zufall normalerweise erzeugt. In jeder Simulation wird geprüft: Wie oft entsteht zufällig ein Unterschied, der genauso groß oder größer ist als der echte Unterschied (70 Klicks vs. 50 Klicks)?
Wenn dieser Unterschied fast nie zufällig entsteht (z. B. nur in etwa 5 % der Fälle), lautet die Aussage: „Das war höchstwahrscheinlich kein Zufall, Variante B ist statistisch signifikant besser als Variante A“.
Wenn dieser Unterschied häufig zufällig entsteht (z. B. 20 von 100 Simulationen), lautet das Ergebnis: „Der Unterschied kann zufällig sein, noch keine Signifikanz.“
Woran A/B-Testing in der Praxis statistisch scheitert
Kurz und schmerzlos: A/B-Testing braucht genug Daten, um statistisch signifikante Aussagekraft zu erreichen. Und „genug Daten“ ist für viele Unternehmen schlicht nicht erreichbar.
Egal ob Landingpage, Newsletter oder CTA-Button: Beim A/B-Testing gilt als grobe Faustregel, dass pro Variante mehrere hundert Ereignisse (z. B. Klicks oder Conversions) benötigt werden. Häufig werden hierfür etwa 300-500 Ereignisse genannt. Unterhalb dieser Größenordnung sind Ergebnisse statistisch praktisch wertlos, weil die Zufallsschwankungen so groß sind, dass schon wenige Klicks das Ergebnis komplett kippen können.
Auch Traffic allein ist irrelevant. Erst wenn es ausreichend messbares Nutzer*innen-Verhalten gibt, kann Statistik überhaupt greifen. Beispiel: 10.000 Besucher, aber nur 40 Klicks, statistisch ist das nicht sinnvoll auswertbar. Nicht der Traffic entscheidet über die Aussagekraft eines A/B-Tests, sondern die Anzahl der beobachteten Ereignisse. Traffic ist nur der Weg dorthin.
Alternativen zum A/B-Testing
Bleibt die Frage: Können kleine Unternehmen ohne A/B-Tests überhaupt ihre Kampagnen über aussagekräftige Tests optimieren? Ja, können sie. Wie das geht, zeige ich im bald erscheinenden zweiten Teil von „Marketing Analytics: Warum A/B-Tests oft eine statistische Luftnummer sind“.
Bis dann!
Link-Tipps hier auf meinem Blog „Der Onliner – Marketing & Wirtschaft 4.0“:
A/B-Tests und multivariate Tests: So optimiert ihr eure Conversions
Landingpage-Optimierung: Die 11-Punkte-Checkliste für mehr Conversions
Conversion-Rate-Optimierung: Die 7-Punkte-Checkliste für eure Website
Externer Link-Tipp:
studyflix.de: Signifikanzniveau