Wann sollten Ergebnisse eines UX-Tests euch dazu veranlassen, eure Website anzupassen? Die UX-Berater*innen der Nielsen Norman Group erklären in einem englischen Artikel, wie sich statistische und praktische Signifikanz unterscheiden. Was das bedeutet und warum es für die Optimierung eurer Website wichtig ist, erkläre ich in diesem Beitrag.
Die Themen des Beitrags auf einen Blick:
Auf geht’s:
Was ist UX-Testing?
User Experience (UX, Nutzer*innen-Erlebnis) beschreibt, wie Menschen einen Online-Auftritt wahrnehmen und erleben. Ziel ist es, eine Website so zu gestalten, dass sie als …
- a) benutzerfreundlich (gebrauchstauglich),
- b) glaubwürdig und harmonisch,
- c) angenehm in der Nutzung
… empfunden wird. Das sind die UX-Kategorien: (a) Usability, (b) Look und (c) Feel.
Je besser dieses Gesamtpaket (unbewusst) auf Website-Besucher*innen wirkt, desto eher werden sie auf dem Online-Auftritt die gewünschte Conversion durchführen (z. B. Kauf, Kontaktdaten-Abgabe, Anmeldung, Download, Nutzerkonto-Erstellung etc.).
UX-Tests sollen mögliche Schwachstellen der Website aufdecken. Ob die Testergebnisse tatsächlich zu einer Anpassung der Website führen sollten, hängt jedoch nicht allein von den Befunden ab. Dabei sind die statistische Signifikanz und die praktische Signifikanz der Testergebnisse wichtig.
Website-Optimierung: Was bedeutet „statistische Signifikanz“?
Statistische Signifikanz fragt: Ist ein gemessener Unterschied (z. B. in einem UX-Test) echt? Oder könnte er genauso gut durch reinen Zufall entstanden sein, obwohl es in Wirklichkeit gar keinen Unterschied gibt?
Fachlich ausgedrückt liegt statistische Signifikanz vor, wenn ein gemessener Unterschied oder Zusammenhang so groß ist, dass er mit hoher Wahrscheinlichkeit nicht nur zufällig entstanden ist.
Wissenschaftlich genauer: Die Wahrscheinlichkeit, dass das Ergebnis durch Zufall zustande kam (der sogenannte p-Wert), liegt unterhalb eines vorher festgelegten Grenzwerts (meist 0,05).
Neben der statistischen Signifikanz gibt es auch die praktische Signifikanz. Schauen wir sie uns an.
Website-Optimierung: Was bedeutet “praktische Signifikanz”?
Praktische Signifikanz bedeutet: Würde ein statistisch signifikantes Problem im Nutzererleben einer Website behoben, hätte das tatsächlich eine relevante praktische Auswirkung. Beispielsweise deutlich mehr Conversions.
Anders gesagt: Nur weil eine Beobachtung in einem UX-Test statistisch signifikant ist, ist sie nicht automatisch auch praktisch signifikant. Schauen wir uns das an einem Beispiel aus dem Online-Marketing-Alltag an.
Statistische vs. praktische Signifikanz: Ein Beispiel aus dem Online-Marketing-Alltag
Stellt euch vor, ihr fahrt eine Werbeanzeigen-Kampagne auf LinkedIn und YouTube. Damit wollt ihr Anmeldungen für ein Webinar generieren. Der Klick auf die Anzeige führt auf eine Landingpage mit Anmeldeformular. Diese Landingpage testet ihr mit einem A/B-Test in zwei Varianten:
- Landingpage-Variante A nutzt einen blauen Call-to-Action-Button.
- Landingpage-Variante B nutzt einen orangefarbenen Call-to-Action-Button.
Die restlichen Bestandteile der Landingpage sind in beiden Varianten identisch:
Ergebnis dieses A/B-Tests:
- Variante A (blau) bringt eine Conversion-Rate von 10,0 %.
- Variante B (orange) bringt eine Conversion-Rate von 10,8 %.
Angenommen, die statistische Auswertung ergibt einen p-Wert von 0,03. Der Unterschied wäre dann statistisch signifikant, da der p-Wert unter dem üblichen Grenzwert von 0,05 liegt. Bedeutet: Gäbe es in Wirklichkeit gar keinen Unterschied zwischen den beiden Buttons, läge die Wahrscheinlichkeit für ein derart deutliches Ergebnis bei nur drei Prozent. Das Ergebnis ist also wahrscheinlich kein Zufall. Das, was wir als Conversion-Unterschied sehen (10,8 vs. 10,0 %), ist vermutlich real.
Die praktische Signifikanz fragt nun: Lohnt es sich, auf dieses statistisch verlässliche Ergebnis in der realen Welt zu reagieren?
Auch wenn ein Ergebnis statistisch signifikant ist, kann der Effekt zu klein sein, um eine Design-Änderung zu rechtfertigen. Dann liegt zwar eine statistische Signifikanz vor, aber keine praktische Signifikanz.
Schauen wir uns das bei unserem Landingpage-Button-Test an. Nehmt eine realistische Größenordnung für eine kleine B2B-Kampagne an: 500 Klicks auf die Landingpage im Testzeitraum. Der Unterschied von 0,8 Prozentpunkten bedeutet dann konkret: vier zusätzliche Anmeldungen. Nicht mehr, nicht weniger.
Vier zusätzliche Anmeldungen wirken zunächst wenig. Genau deshalb lohnt sich die Frage nach der praktischen Signifikanz. Ein Farbwechsel beim Button kostet kaum Aufwand. Vier zusätzliche Anmeldungen dafür sind ein gutes Geschäft.
Anders sieht es aus, wenn die Umsetzung aufwendig wird: ein neues Layout, zusätzliche Formularfelder, ein kompletter Redesign-Prozess. Dann lohnt sich derselbe Effekt oft nicht mehr. Die Statistik bleibt gleich, der Aufwand entscheidet.
Deshalb argumentiert die Nielsen Norman Group: Wer bei UX-Tests neben der statistischen Signifikanz auch die praktische Signifikanz berücksichtigt, trifft die besseren Entscheidungen. Wie ihr das abwägen könnt, schauen wir uns anhand von zwei Tipps der Nielsen Norman Group an.
Wie ihr die praktische Signifikanz einschätzen könnt
Das empfiehlt die Nielsen Norman Group in ihrem englischen Beitrag:
1. Wahrnehmung durch Nutzer*innen. Frage: Würden echte Nutzer*innen diese Änderung überhaupt bemerken? Auch wenn ein Ergebnis statistisch signifikant ist, kann es die Erfahrung nicht spürbar beeinflussen.
Beispiel: Stellt euch ein Redesign vor, das eine Webseite technisch um acht Millisekunden schneller laden lässt. Statistisch könnte dieser Unterschied zwar signifikant sein, aber kein Mensch wird eine Verbesserung um acht Millisekunden bewusst wahrnehmen. Für Nutzer*innen fühlt sich die Seite exakt gleich an. Wenn der Effekt zu klein ist, um wahrgenommen zu werden, lohnt es sich vielleicht nicht, ihn zu priorisieren.
2. Geschäftlicher Nutzen. Frage: Ist dieser Unterschied für das Unternehmen wichtig? Ein Ergebnis kann praktisch signifikant sein, wenn es spürbar wichtige Geschäftsziele beeinflusst, zum Beispiel:
- Spart es Zeit, Geld oder Aufwand in großem Maßstab?
- Verringert es Fehler oder Abbrüche in einem kritischen Ablauf?
- Verbessert es wichtige Kennzahlen wie Conversion oder Nutzerbindung so stark, dass sich die Umsetzung lohnt?
Website-Optimierung: Statistische und praktische Signifikanz immer gemeinsam betrachten
Die Nielsen Norman Group empfiehlt, immer beide Perspektiven einzunehmen:
- Statistische Signifikanz stellt sicher, dass die Ergebnisse nicht zufällig sind.
- Praktische Signifikanz stellt sicher, dass sich das Ergebnis in der Umsetzung auch lohnt.
Erst zusammen ermöglichen sie fundierte, belastbare und sinnvolle Designentscheidungen.
Wenn man nur auf eines von beiden schaut, kann das dazu führen, dass Ressourcen für wenig relevante Änderungen verschwendet oder wichtige Usability-Probleme übersehen werden.
Quelle:
nngroup.com: Statistical Significance Isn’t the Same as Practical Significance
Link-Tipp hier auf meinem Blog:
Usability & UX: Die Checkliste für benutzerfreundliche Online-Auftritte