A/B-Testing und die statistische Signifikanz

Stellen Sie sich einmal folgendes Szenario vor: Sie erstellen zwei unterschiedliche Versionen einer Landing-Page und nutzen nun einen A/B-Test um herauszufinden, welche der beiden Landing-Pages eine bessere Performance abliefert. Nach ein paar Tagen zeichnet sich dann immer mehr ab, dass die eine Landing-Page eine bessere Conversion-Rate erreicht als die andere. Allerdings reicht das noch nicht, um zweifelsfrei sagen zu können, dass diese Variante auch in der Zukunft besser performen wird. Denn wer einen A/B-Test richtig nutzen will, der muss auch immer die Frage der statistischen Signifikanz stellen. Wie Sie diese statistische Signifikanz berechnen und die Ergebnisse richtig einschätzen, erfahren Sie in diesem Blogbeitrag!

Was ist überhaupt ein A/B-Test?

Grundsätzlich beschreibt ein A/B-Test ein Marketing-Verfahren, mit dessen Hilfe die Performance einer Seite durch Leistungsvergleiche verbessert werden soll. Dabei können die Testobjekte komplett unterschiedlich sein. Zum Beispiel kann man verschiedene Landing-Pages, Creatives, Designs, oder Anzeigentexte auf ihre Leistungsunterschiede untersuchen. Der A/B-Test ist ein bewährtes Marketing-Verfahren in allen möglichen Bereichen, von Google Ads bis hin zum Social Media Marketing.
Ein Fallbeispiel wäre etwa ein A/B-Test von zwei verschiedenen Creatives, die auf Ihre Performance hin getestet werden. Beide werden einige Tage unter gleichen Bedingungen ausgespielt, um zu erfahren, welches Bild eher zu einem Kauf animiert. Wichtig ist hierbei, dass immer nur eine Variable geändert wird, damit man am Ende des Tests auch sicher sein kann, dass das Testergebnis aufgrund dieser Variable entstanden ist.
Jedoch sollte Ihnen das bloße Testergebnis nicht ausreichen, denn ob die dort erlangten Erkenntnisse auch einen wirklichen Wert für Sie haben, können Sie erst nach der Untersuchung der statistischen Signifikanz wissen.

Wie sieht ein A/B-Test aus?

Im Folgenden gehen wir gemeinsam zwei Beispiele von A/B-Tests durch, die zeigen wann sich ein A/B-Test lohnt und welche Vorteile dies mit sich bringt, jeweils für Facebook- und Google Ads.

Facebook Ads: Werbeanzeigen bei Facebook können ganz verschiedene Ziele haben. Man kann Traffic oder Leads für die Seite gewinnen oder aber Käufe und somit mehr Umsatz generieren. Auch wenn die angezeigten Ads fast immer auf die eigentliche Seite führen, sind bei Facebook doch letztendlich die Anzeigen hauptverantwortlich für die Performance. Sehen die Anzeigen nicht gut aus und sind sie nicht in der Lage Interessenten anzulocken, wird auch niemand klicken, das Aussehen der Webseite ist dann irrelevant. Hier würde also z.B. ein A/B-Testing Sinn machen, um herauszufinden mit welchen Anzeigen man die Nutzer am ehesten zu einer Conversion bewegen kann. Als Testobjekte würden sich dann beispielsweise Creatives, Anzeigentexte oder CTA-Buttons anbieten. Man erstellt nun also zwei Kampagnen die sich in allen Punkten gleichen, mit Ausnahme des Aspektes der getestet werden soll und lässt diese eine Zeit lang gegeneinander laufen. Am Ende wird eine Kampagne eine bessere Conversion-Rate erreichen und kann dann als der Gewinner betrachtet werden (erstmal ohne Rücksicht auf die statistische Signifikanz). Somit haben Sie Ihre Kampagne ein Stück optimiert und konnten wichtige Erfahrungswerte sammeln.

Google Ads: Bei Google Ads sind die Ziele des Tests und das Ergebnis am Ende erstmal identisch. Allerdings gestalten sich die Anwendungsmöglichkeiten logischerweise etwas anders. Anstelle von Bildern oder CTA`s können in diesem Fall z.B. die Überschrift, die erste- bzw. zweite Zeile und die Display-URL ausgetauscht werden. Außerdem besteht auch die Möglichkeit verschiedene Landing-Pages zu testen und so zu erfahren, ob es möglicherweise Sinn macht Änderungen an der Webseite vorzunehmen. Der finale Test läuft dann gleich ab: es werden Klick- oder Conversion-Raten untersucht und ein Gewinner ausgemacht – genau wie bei Facebook.

Wie erfasse ich die relevanten Daten?

Als erstes müssen Sie sich entscheiden, welches Content-Element Sie verändern wollen, also für was genau der Test laufen soll. Wie bereits erwähnt, sind Ihre Möglichkeiten hier grenzenlos und Sie haben die freie Auswahl. Wir nehmen für das folgende Beispiel den Vergleich von zwei verschiedenen Landing-Pages.
Sie haben sich also nun für Ihr Testobjekt entschieden. Der nächste Schritt ist es die richtigen Rahmenbedingungen zu wählen. In unserem Fall wäre das jetzt die Dauer des Tests. Für zwei Landing-Pages wären zum Beispiel 3-4 Tage ein guter Wert.
Es müssen allerdings nicht immer Tests über eine gewisse Dauer sein. Wenn Sie Ihre Testobjekte zum Beispiel über eine E-Mail-Liste testen wollen, müssen Sie sich für eine bestimmte Stichprobengröße entscheiden. Dabei ist zu beachten, dass der Erwartungswert immer mindestens fünf betragen sollte.

Wie berechne ich die statistische Signifikanz?

Vorab müssen wir klarstellen, dass es im Internet viele Tools gibt, mit denen die Berechnung der statistischen Signifikanz ganz schnell und einfach abzuwickeln ist. Diese empfehlen Ihnen auch zu nutzen. Dieser Beitrag hat aber den Zweck Ihnen zu zeigen, wie die Berechnung genau funktioniert, damit Sie ein besseres Verständnis von dem ganzen Vorgang bekommen.

Für die Berechnung nutzen wir hier den Chi-Quadrat-Test. Dieser Test wird grundsätzlich immer genutzt, wenn wir mit diskreten Daten arbeiten. Diskret bedeutet, dass es eine begrenzte Anzahl von Ergebnissen gibt, in diesem Fall sind das nur zwei: Entweder kommt es zu einer Conversion oder eben nicht.

Bevor wir mit dem Rechnen anfangen, müssen wir noch eine Hypothese für das Testergebnis aufstellen. In diesem Fall ist unsere Hypothese, dass es einen statistischen Zusammenhang zwischen den Landing-Pages und der Conversion-Rate gibt. Belegen unsere Daten diese Hypothese gilt das Testergebnis als statistisch signifikant. Als letzter Schritt vor dem Rechnen wird noch ein Vertrauensbereich festgelegt. Das bedeutet Sie legen fest wie hoch die Wahrscheinlichkeit sein soll, dass Ihr Ergebnis statistisch signifikant ist. Als Beispiel nehmen wir hier einmal die Wahrscheinlichkeit 95% bzw. 0,95. Dieser Wert gibt uns gleichzeitig den Wert α = 0,05 (Alpha beschreibt in diesem Fall die Abweichung).

Nun haben wir alle Vorbereitungen getroffen und der Test konnte ohne Probleme stattfinden. Wir haben unsere Daten erhalten und wollen nun wissen, ob diese statistisch signifikant sind.

Schritt 1:

Tragen Sie die erhaltenen Daten in eine Tabelle ein. Unsere Tabelle wird jeweils zwei Spalten und Zeilen haben, da wir zwei Landing-Pages testen und es zwei mögliche Ergebnisse gibt (Conversion oder keine Conversion). Außerdem fügen wir noch jeweils die Summen hinzu, um einen besseren Überblick zu bekommen.

[table id=8 /]

Schritt 2:

Der nächste Schritt ist die Berechnung der Erwartungswerte. Falls unsere Hypothese falsch ist, ist die Conversion-Rate unabhängig von der Landing-Page. Ob genau dies der Fall ist, erkennt man schnell, wenn man das Verhältnis von den gesamten Conversions zu allen Besuchern mit den Werten bei den einzelnen Landing-Pages vergleicht. Hierfür rechnet man einfach die Gesamtzahl aller Besucher die konvertiert haben, geteilt durch die Gesamtzahl der Besucher. Also in unserem Beispiel 1200/5000=0,24. Also würden ungefähr 24% der Besucher bei beiden Landing-Pages konvertieren, wenn es hier keine Unterschiede geben würde. Um jetzt zu sehen, wie groß die Abweichungen von diesem Wert sind, müssen wir die obere Tabelle noch einmal mit den Erwartungswerten aufstellen.

Um dies zu tun multipliziert man die Summe der Zeile mit der Summe der Spalte der jeweiligen Zeile und teilt sie dann durch die Gesamtzahl der Besucher. Für die Zelle LP 1 und keine Conversion sähe die Rechnung dann zum Beispiel so aus:

(3000*3800)/5000=2280.

[table id=9 /]

Schritt 3:

Jetzt haben wir also sowohl eine Tabelle mit den erhaltenen Daten, als auch eine Tabelle mit den Erfahrungswerten. Der nächste Schritt ist jetzt die Berechnung von Chi-Quadrat, dem eigentlichen Kern dieser Methode. Dafür nutzen wir folgende Gleichung:

((erwarteter Wert – tatsächlicher Wert)^2)/erwarteter Wert = Chi-Quadrat-Wert

Mit dieser Gleichung füllen wir jetzt nochmal die Tabelle aus:

[table id=10 /]

Addieren wir alle Werte unserer vier betrachteten Zellen kommen wir also auf einen Gesamtwert von 4,105. Um anhand dieses Wertes zu erfahren, ob unsere Daten eine statistische Signifikanz aufweisen, müssen wir einen Blick auf eine Chi-Quadrat-Verteilungstabelle werfen. Den für uns relevanten Wert finden wir anhand unseres Alpha-Wertes und der Freiheitsgraden. Die Freiheitsgrade sind davon abhängig, wie viele Zeilen und Spalten wir haben.Iin unserem Fall arbeiten wir jeweils mit zwei Zeilen und Spalten, wodurch die Freiheitsgrade 1 beträgt. Unseren Alpha-Wert 0,05 kennen wir bereits vom Anfang des Blogbeitrages.
Durch die Kenntnis der beiden Werte und der Chi-Quadrat-Verteilungstabelle wissen wir nun, dass unser Chi-Quadrat-Wert mindestens 3,841 betragen muss, damit unsere Daten mit einer Wahrscheinlichkeit von 95% statistisch signifikant sind. Da unser Gesamtwert 4,105 beträgt, wäre die statistische Signifikanz also nachgewiesen. Das bedeutet es gibt einen statistischen Zusammenhang zwischen der Auswahl der Landing-Pages und der erreichten Conversions.

Abschließende Worte zu A/B-Testing und der statistischen Signifikanz

Auch wenn man diese ganzen Berechnungen auch einem Tool überlassen kann, so sollte man doch immer auch in der Lage sein, die laufenden Prozesse zu verstehen. Außerdem arbeiten die meisten Tools mit einem Vertrauensbereich von 0,95 und sind nicht in der Lage zu variieren, weshalb es auch vorteilhaft sein kann die Berechnungen für andere Vertrauensbereiche anstellen zu können. Obwohl wir uns viel Mühe gegeben haben die dargestellten Prozesse so simpel wie möglich zu halten, ist uns bewusst, dass es dennoch mit Sicherheit einige offene Fragen gibt. Wenn Sie also Fragen zu diesem Thema haben oder Sie Ihre eigenen A/B-Tests effizienter gestalten wollen, können Sie sich gerne bei uns melden und wir vereinbaren einen Termin für ein kostenloses Erstgespräch.

Hast du Fragen?

Als Full-Service Online-Marketing-Agentur unterstützen wir Dich gerne.

02208 916 98 99 info@saphirsolution.de

A/B-Testing und die statistische Signifikanz

Was ist überhaupt ein A/B-Test?

Wie sieht ein A/B-Test aus?

Wie erfasse ich die relevanten Daten?

Wie berechne ich die statistische Signifikanz?

Schritt 1:

Schritt 2:

Schritt 3:

Abschließende Worte zu A/B-Testing und der statistischen Signifikanz

Hast du Fragen?

Als Full-Service Online-Marketing-Agentur unterstützen wir Dich gerne.

Das könnte Dich auch interessieren:

Amazon Maßnahmenplan

Das Ende des JTL-Connectors für Shopware 5: Was nun?

Server-Side Tracking: Entwirrung des Geheimnisses

Facebook Pixel Verstehen: Einfache Implementierung mit Google Tag Manager