A/B-Tests sind eine tolle Sache. Mit ihrer Hilfe kannst du die Performance deiner Website signifikantverbessern und dafür sorgen, dass die Conversion Rate nach oben geht. Doch sie können auch nach hinten losgehen. Und zwar dann, wenn du einen Fehler machst, der das Ergebnis verzerrt.

Im besten Fall kostet dich das nur ein paar Conversions (was schon schlimm genug ist, denn du möchtest ja eigentlich optimieren und nicht „verschlimmbessern“). Im schlechtesten Fall kann so ein Fehler aber auch sehr teuer werden – wenn du beispielsweise deine funktionierenden Landingpages komplett über den Haufen wirfst, weil du einem falschen Ergebnis aufgesessen bist. Dann leiden nicht nur die Conversions, du hast auch viele Ressourcen in den Rollout eines neuen – auf lange Sicht nutzlosen – Designs gesteckt.

Damit dir dieses Schicksal erspart bleibt, haben wir dir die fünf nervigsten Fehler im Bereich A/B-Testing zusammengefasst. Schau dir diesen Artikel an und lerne, wie du sie vermeiden kannst.

Du hast endlich deinen ersten A/B-Test eingerichtet und wartest nun schon seit Tagen sehnsüchtig auf ein signifikantes Ergebnis. Die Daten deines CRO-Tools zeigen, dass deine variierte Landingpage besser funktioniert als das Original. Die Wahrscheinlichkeit, dass dein Test erfolgreich ist, liegt bei 75 %. Das klingt doch ganz gut, oder?

Nein! Ergebnisse zu früh als wahr anzusehen, ist einer der häufigsten Fehler in der Welt des A/B-Testing.

Eine Signifikanz von 75 % bedeutet, dass deine neue Landingpage bei jedem vierten Test nicht besser funktionieren wird als das Original. Bevor du also viel Geld und Zeit in die Umgestaltung deiner Website investierst, solltest du warten, bis die Wahrscheinlichkeit wenigstens 90 % beträgt. Noch besser sind allerdings 95 % und mehr. Nur dann kannst du mit Sicherheit sagen, dass dein Ergebnis allen Zweifeln standhält.

Es kann auch passieren, dass deine Testergebnisse nicht der Wahrheit entsprechen, weil die Stichprobe zu klein ist. Du hast also schlicht nicht genug Daten gesammelt, um eine belastbare Grundgesamtheit aufzubauen. Denn was bringt es dir, wenn die ersten fünf NutzerInnen alle übereinstimmende Daten liefern? Dieser Wert ist so klein, dass er nicht einfach auf die Allgemeinheit übertragen werden kann.

Vor allem dann, wenn zwischen der Variation und dem Original am Anfang ein sehr groß Unterschied ist, werden häufig zu voreilige Entscheidungen getroffen. Auch viele bekannte Testing-Tools entscheiden sich in solchen Fällen oft zu schnell für einen Gewinner. Hier liegt es dann an dir, die Einstellungen so anzupassen, dass du solche Fehler ausschließen kannst.

Wenn du dich zu früh auf eine –auf lange Sicht vielleicht sogar schwächere – Variante festlegst, schadest du deinem Unternehmen. Genau deswegen ist es so wichtig, dass du auf eine hohe Signifikanz und große Stichproben setzt. Dieses Vorgehen reduziert gleich zwei Gefahren:

1. Einen Gewinner auszurufen, der eigentlich gar kein Gewinner ist (False Positive)

2. Keinen Gewinner zu erkennen, obwohl es einen gibt (False Negative)

Es ist menschlich und ganz normal, dass du dich gerade in der Anfangsphase deinen Tests verbunden fühlst. Jeder möchte, dass Zeit, Ressourcen und Mühen, die er in einen Test gesteckt hat, nicht umsonst waren. Und jeder möchte, dass seine Tests möglichst schnell zu einem wahren Ergebnis führen. Das ist leider auch der Hauptgrund dafür, dass viele A/B-Tests zu früh abgebrochen werden. Deswegen sollte dir als verantwortungsbewusste(r) Conversion OptimiererIn immer bewusst sein, dass es nicht nur darum geht, eine bessere Landingpage oder ein schöneres Design zu kreieren.

Es geht darum, die Wahrheit zu finden. Und die Wahrheit hängt von zwei Dingen ab – von der Signifikanz der Daten und von deinen Hypothesen.

Kennst du das auch? Du bist so begeistert davon, endlich mit einer neuen Testreihe beginnen zu können, dass du dich Hals über Kopf ins Abenteuer stürzt. Das ist bestimmt jedem schon einmal passiert. Was dann jedoch auf der Strecke bleibt, ist ein belastbarer Plan, auf dessen Grundlage der Test vonstatten gehen soll.

Denn wenn du einen A/B-Test startest, ohne dir vorher ausführliche Gedanken gemacht zu haben, wirst du am Ende keine hilfreichen Ergebnisse erhalten. In ihrem Enthusiasmus unterschätzen Menschen nämlich oft, wie wichtig es ist, vor einem A/B-Test sinnvolle Hypothesen aufzustellen.

Viele gehen einfach davon aus, dass am Ende schon genug interessante Daten für eine zielgerichtete Analyse herauskommen werden – doch das ist ein Irrglaube. Erst die richtigen Hypothesen machen einen Test informativ. Und nur sie helfen auch dabei, die Strategien herauszuarbeiten, die wirklich zu einer besseren Conversion Rate führen.

„Die Qualität der Ergebnisse eines A/B-Tests steht und fällt mit den getesteten Hypothesen.“

Das bedeutet, dass das Formulieren von belastbaren Hypothesen einer der wichtigsten Schritte des ganzen Prozesses ist (wie der gesamte Prozess aussieht, erfährst du hier) – es ist die Grundvoraussetzung für den Erfolg der nächsten Schritte. Hierbei musst du auf jeden Fall das Gesamtkonzept deiner Website im Auge behalten – denn es bringt nichts, wenn du dich nur auf den einen aktuellen Test versteifst.

Und wenn dann bei einem Test doch einmal etwas schiefgeht – weil er zum Beispiel nicht in das große Ganze passt – dann ist das auch kein Problem. A/B-Tests sind eine fortlaufende Angelegenheit. Auch aus gescheiterten Tests kannst du wichtige Lehren ziehen, die dir im weiteren Verlauf der Optimierung fraglos helfen werden.

Die Vorbereitung ist also ein zentraler Bestandteil von erfolgreichen A/B-Tests, den du nicht unterschätzen solltest. Nur wenn du weißt, was du testen möchtest und welchen Einfluss die Ergebnisse haben werden, kannst du deine Website wirklich kontinuierlich verbessern.

Du darfst auch nicht vergessen, deine NutzerInnen vor dem Test zu segmentieren. Möchtest du Informationen zu allen Besuchern und Besucherinnen sammeln – oder nur zu neuen oder wiederkehrenden NutzerInnen? Möchtest du alle Endgeräte testen oder unterscheidest du zwischen Desktop und Mobile? Dabei musst du dir auch immer vor Augen halten, welchen Einfluss diese Entscheidungen auf die Größe deiner Stichprobe haben. Denn wie gesagt muss diese immer groß genug sein, um ein signifikantes Ergebnis sicherzustellen.

Wenn du immer nur alle NutzerInnen in einen Topf wirfst und sie als eine uniforme Masse betrachtest – also auf eine Segmentierung verzichtest – wirst du nie sehen können, was sich in den einzelnen Segmenten tut. Es kann nämlich sein, dass ein Test, der in der Gesamtheit als gescheitert gilt, für ein einzelnes Segment durchaus hilfreiche Ergebnisse geliefert hat. Denn neue BesucherInnen verhalten sich anders als wiederkehrende; und auch das Alter, das Geschlecht, die Herkunft und das genutzte Endgerät spielen eine wichtige Rolle. Es wäre doch schade, wenn du diese Ergebnisse übersehen und damit Potenziale verschenken würdest.

Um einen Test mit einem signifikanten Ergebnis abschließen zu können, brauchst du wie gesagt eine bestimmte Anzahl an TeilnehmerInnen sowie eine bestimmte Anzahl an Conversions. Wenn deine Seite richtig viele Besucher und Besucherinnen hat, kann ein Test manchmal auch schon nach weniger als einer Woche einen Gewinner haben. Aber was du bei A/B-Tests niemals vergessen darfst, ist der Umstand, dass externe Faktoren einen gehörigen Einfluss auf die Testergebnisse haben.

Die meisten Menschen leben in einem bestimmten Rhythmus. Regelmäßige Tätigkeiten wie die Arbeit, das Studium, die Freizeitaktivitäten und das Familienleben bestimmen, was wir an bestimmten Wochentagen machen. Dieser Rhythmus hat einen großen Einfluss auf die Conversion Rate deiner Website und muss im A/B-Test berücksichtigt werden. Auch Feiertage oder Events (wie beispielsweise der Gewinn einer Fußballweltmeisterschaft) wirken sich auf das Verhalten der NutzerInnen aus. In vielen Fällen ist es daher auch sinnvoll, einen Blick in den Kalender zu werfen, um den Test zu einem „normalen“  Zeitpunkt durchzuführen. Dinge wie die Schulferien, die das Ergebnis verzerren können, sind ja meist im Voraus bekannt und können daher rechtzeitig beachtet werden.

Um den Einfluss von externen Faktoren auf deine A/B-Tests zu minimieren, solltest du diese also mindestens zwei Wochen (und damit auch zwei Wochenenden) lang laufen lassen – und das in einer Zeitspanne, die sich nicht großartig von anderen Intervallen im Jahr unterscheidet. Wichtig ist hierbei, dass du saisonale Besonderheiten und das Wetter ebenfalls mit einbeziehst. Denn je nach deiner Branche ist das Nutzerverhalten bei Schneestürmen vielleicht anders als bei strahlendem Sonnenschein.

Nur wenn du all diese Unwägbarkeiten einfließen lässt, weißt du mit Sicherheit, dass dein Test auch gegen eventuelle Schwankungen, die durch externe Faktoren hervorgerufen wurden, gewappnet ist.

Vergiss bei deinen A/B-Tests also nicht, diese Dinge im Blick zu haben. Nichts ist ärgerlicher, als wenn du viel Zeit, Geld und Energie in einen Test investierst, dessen Ergebnisse du im Endeffekt nicht verwenden kannst. Deshalb gilt: Vorsicht ist besser als Nachsicht.

Denke daran: Jede Website ist einzigartig und daher gibt es keine Checkliste für die perfekt optimierte Website. Betreibe also ausführliche Recherchen im Hinblick auf deine Branche und Zielgruppe (z. B. mithilfe der Limbic® Map), anstatt dich blindlings in einen schlecht vorbereiteten A/B-Test zu stürzen. Auch das Definieren belastbarer Ziele erhöht die Wahrscheinlichkeit eines nutzbaren Ergebnisses.

Beginne damit, die Menschen zu fragen, die deine Website bereits regelmäßig nutzen. Hier bieten sich Heatmaps und Eye-Tracking an, um tiefgreifende Informationen zu den Problemzonen deiner Seite zu erhalten. Mithilfe dieser qualitativen Daten wirst du in der Lage sein, die Probleme deiner Website zu verstehen und darauf aufbauend die Hypothesen für deine Tests zu formulieren.

Ansonsten bleibt dir nur, dich in Geduld zu üben. Plane also immer genug Puffer ein, falls unvorhergesehene Ereignisse dazu führen, dass du deine Tests verlängern musst. Wenn du diese Punkte beachtest, hast du die vermeidbarsten Fehlerquellen für deine A/B-Tests schon einmal ausgeschlossen.