Conversion-Agenturen haben es täglich mit unterschiedlichen KundInnen und den unterschiedlichsten Geschäftsmodellen und Erfolgsansprüchen zu tun. Aber eines haben alle KundInnen und wir gemein: Wir möchten mehr Umsatz generieren und dafür datengetrieben die richtigen Entscheidungen treffen. Doch Erfolg ist nicht gleich Erfolg.

Welche Herausforderungen bestehen also bei der Definition deines Erfolgs? Was musst du dabei beachten?

Zentral bei all dem sind A/B-Tests, und die Grundvoraussetzung für den Erfolg eines jeden A/B-Testings sind ein stimmiger Testing-Prozess und die richtige Hypothese für die richtigen Ziele zu haben. Diese muss durch das definierte Tracking bestätigt oder widerlegt werden. Doch welche Fallstricke gilt es zu vermeiden, wenn es um die Definition der richtigen Test-Ziele geht? Können auch messbar erfolgreiche Tests dem Unternehmenserfolg schaden? Und worauf ist bei primären und sekundären Zielen zu achten?

Apropos Fallstricke: Dazu passt unser Beitrag „A/B-Testing – 5 Fehler, die du vermeiden solltest“.

In diesem Beitrag erfährst du erst einmal, wie du deine primären und sekundären Ziele bei A/B-Tests definieren musst, um die Weichen auf Erfolg zu stellen. Und warum der Umsatz niemals der Haupt-Erfolgsindikator sein darf!

Das wahrscheinlich wichtigste Ziel in der Conversion Optimierung sind die Sales bzw. die Anzahl der verkauften Produkte. Dieser Wert kann unterschiedlich erhoben und unterschiedlich definiert werden. So lässt sich dieses Ziel zum Beispiel als Aufruf der Danke-Seite als Transaktion oder als Button-Klick messen.

Wenn Nutzer oder Nutzerinnen in einer Sitzung zweimal eine Bestellung aufgeben, würde dies als zwei Aufrufe der Danke-Seite getrackt werden – aber nur als eine Transaktion. Denn üblicherweise werden Transaktions-IDs vergeben, die sicherstellen, dass jede Transaktion mit derselben ID nur einmal pro Sitzung gezählt wird.

Das Problem beim Tracking auf einen „Jetzt kaufen Button“-Klick ist, dass dieser noch nicht der finale Kauf sein muss. Bei der Zahlungsmethode PayPal wird beispielsweise ein Link zu PayPal gesetzt, und der Nutzer bzw. die Nutzerin muss sich erst anmelden. Macht er dies nicht, und gibt er die Zahlung nicht frei, erreicht er nicht die Danke-Seite, und es wird keine Transaktion gezählt. Bedeutet: Das Ziel ist nicht erreicht, obwohl er auf „Jetzt kaufen“ geklickt hat. Erhebe die Sales daher am besten auf Transaktionsbasis und werte sie auf Nutzerbasis aus.

Die Art und Weise der Datenerhebung hat folglich eine Auswirkung auf den Testerfolg. Und das Ganze wird noch komplexer, wenn die mögliche Umsatzsteigerung prognostiziert werden soll. Der Umsatz berechnet sich aus dem Warenkorbwert multipliziert mit der Anzahl der Verkäufe.

Unsere entsprechenden Tests bei LEAP/ haben gezeigt, dass höhere Warenkorbwerte durch mehr Klicks auf Add to Cart oder den Kauf von teureren Produkten zu mehr Umsatz führen, während die Nutzenden gleichzeitig weniger Transaktionen ausführen. Ein höherer Warenkorbwert führt aber nur zu mehr Umsatz, wenn sich die Verkäufe nicht signifikant verschlechtert haben.

Viele OptimiererInnen setzen mehr Umsatz mit einer höheren Anzahl an Verkäufen gleich. Für gewöhnlich ist dies auch richtig, wenn sich – wie beschrieben – die anderen Metriken nicht verschlechtert haben.

Wenn der Warenkorbwert sinkt und die Anzahl der Verkäufe gestiegen ist, kann der Test auch erfolgreich sein, obwohl er keinen wirklichen Mehrwert bzw. Nutzen bietet. Der Umsatz darf darum nie der Haupt-Erfolgsindikator sein! Mehr dazu weiter unten.

Bedenke zudem, dass, wenn du mehr Umsatz generieren möchtest, Conversion-Rate-Optimierung und A/B-Testing nur ein Teil der Rechnung sind. Viel wichtiger ist es, die Traffic-Kanäle und Maßnahmen für mehr Traffic mit in die Optimierung einzubeziehen. Denn mehr Traffic bedeutet bei gleicher Conversion Rate mehr absolute Conversions und somit mehr Umsatz. Denn es ist so, dass sich alleine schon durch die richtige Traffic-Zusammensetzung auf deiner Seite ein Uplift auf die Conversion Rate erzielen lässt.

Der tatsächliche Unternehmenserfolg wird in der Finanzabteilung am Gewinn bzw. der Gewinnsteigerung im Vorjahresvergleich festgemacht. Diese Metrik wird in der Conversion-Rate-Optimierung häufig nicht beachtet, obwohl auch hier ein Einfluss zu verspüren sein sollte. So lässt sich ein höherer Unternehmensgewinn etwa auch durch geringere Kosten erreichen. Es ist daher wichtig, zum Beispiel auch die Rücksendequote oder den Adspend zusammen mit den Conversion-Maßnahmen zu optimieren.

Die Auswertung der Ergebnisse hängt von den zuvor festgelegten Zielen und den entsprechenden Indikatoren ab. Um möglichst viele Insights aus dem Test zu gewinnen, ist ein umfangreiches Tracking sinnvoll. Dazu muss jedoch eine Priorität der Messmetriken festgelegt werden, denn häufig fallen die Ergebnisse bei zwei Messmetriken gegenteilig aus (zum Beispiel: mehr Einkäufe vs. geringerer durchschnittlicher Warenkorbwert). In der Praxis hat es sich daher eingebürgert, ein primäres und mindestens ein sekundäres Ziel zu vergeben.

Das primäre Ziel ist das Ziel, weswegen der Test durchgeführt wird (zum Beispiel Verkäufe, Bestellungen, Abonnements oder Registrierungen). Durch sekundäre Ziele können weitere Informationen zum Nutzerverhalten erhoben werden. Diese ermöglichen es, die Insights zu vertiefen und bessere Folgetests zu generieren. Wichtig ist dabei die Interpretationsfähigkeit der Metriken!

Schauen wir uns zum Beispiel die Besuchsdauer an: Ist es positiv oder negativ, wenn sich die NutzerInnen lange oder kurz auf der Seite aufhalten? Wenn die Nutzer und Nutzerinnen lange auf deiner Seite verweilen, könnten die Inhalte interessant sein, oder aber sie finden sich nicht zurecht und müssen lange suchen. Ist die Besucherdauer hingegen kurz, könnten die Inhalte nicht relevant für sie gewesen sein, oder aber die NutzerInnen haben sich gut zurechtgefunden. Die Metrik „Besuchsdauer“ ist somit nicht eindeutig bzw. aussagekräftig und ohne Branchen-Benchmark nicht klar bewertbar.

Auch die Senkung der Absprungrate auf der Landingpage kann ein primäres Ziel sein – wobei dies nicht direkt zu mehr Verkäufen und mehr Umsatz führen muss. Denn die Nutzenden können auf der Seite durch andere Unterseiten abgelenkt werden. Wenn der User oder die Userin aber beispielsweise über SEO gekommen ist, kann die verbesserte Absprungrate ein positives Signal für Google sein, welches zu verbesserten Rankings führt. Und ist der User bze. die Userin über SEA gekommen, wirkt sich die gesunkene Absprungrate positiv auf den Quality-Score der Seite aus, sodass langfristig Geld bei der Ausspielung von Anzeigen eingespart werden kann. Heißt: Die Senkung der Absprungrate als primäres Ziel wirkt sich wirtschaftlich also hier wie dort indirekt vorteilhaft aus.

Es ist außerdem zu beachten, dass sich Klicks bzw. Micro Conversions nicht als Indikatoren für A/B-Tests eignen. Diese Metriken sind zu „klein“, und ein Uplift auf diese Metriken garantiert nicht, dass eine höhere Anzahl zu mehr Sales oder gar zu mehr Umsatz führt.

Best Practice bei A/B-Tests: Schon bei der Definition der Testhypothesen sollten die Ziele definiert werden und primäre Ziele auf eindeutig interpretierbare und für dein Unternehmen sinnvolle Metriken bezogen sein. Sekundäre Ziele indes beschreiben sozusagen die weiteren Auswirkungen des Tests, wie zum Beispiel Aufruf der nächsten Seite im Funnel oder Klick auf einen Button. Sie dienen einerseits der besseren Bewertung des Ergebnisses und erleichtern andererseits die Ableitung von Folgetests.

Wichtig ist es, bei der Definition der Test-Ziele darauf zu achten, dass sich die Ziele der Tests nicht gegenseitig kannibalisieren. So kann eine höhere Neu-Registrierungsrate unter Umständen zu einer geringeren Conversion Rate führen – und vice versa. Das Tracking im Test darf daher nicht zu sehr in eine Richtung gedacht werden. Denn eine Verstärkung der Performance in eine Richtung kann sich negativ auf eine andere Richtung auswirken.

Zum Beispiel nutzen Affiliate-AnbieterInnen häufig mehrere Geschäftsmodelle. Die gängigsten sind die Vergütung nach Click-out (CPC), die Kontaktvergütung (CPL) oder die Vergütung nach Impression der Anzeige (TKP). Wenn jetzt in einem Test auf die Leadgenerierung optimiert wird, so kann es sein, dass die Vergütung über CPC sinkt, weil die NutzerInnen eher auf einen Lead geführt werden. Es gilt daher, für beide Zielrichtungen Ziele zu tracken und hinterher zu entscheiden, ob eine Umsetzung sinnvoll ist. Dazu müssen die Werte der Ziele gegeneinander abgewogen werden.

Ausschlaggebend bei dieser Frage ist die Definition der statistischen Signifikanz, und das statistisch signifikante Niveau gibt hierbei die Risikotoleranz an: Wenn ein A/B-Testexperiment mit einer Signifikanz von 95 Prozent abgeschlossen wird, bedeutet das, dass du bei der Festlegung des Gewinners zu 95 Prozent zuversichtlich bist, dass die beobachteten Ergebnisse „wahr“ und nicht etwa fehlerhaft sind. Fehler können zufällig zustande kommen.

Werden nun Experimente durchgeführt, um auf Basis der Ergebnisse eine Entscheidung zu treffen, so ist sicherzustellen, dass es tatsächlich einen Zusammenhang zwischen der Veränderung (Testvariante) und der Auswirkung gibt. Dieser Zusammenhang lässt sich allerdings nur dann zweifelsfrei nachweisen, wenn nur eine Änderung in der Testvariante vorgenommen wurde. Wurden dagegen gleich mehrere Faktoren verändert, kann nicht eindeutig auf den einen Erfolgs- oder Misserfolgsfaktor für die jeweilige Auswirkung geschlossen werden. Der Ursache-Wirkungszusammenhang ist in diesem Fall zumeist diffus.

Das bringt uns zu der Antwort auf die Frage, warum der Umsatz nicht der Haupt-Erfolgsindikator sein darf. Dazu muss man sich vor Augen führen, dass der Umsatz auf der Anzahl der Verkäufe, den Warenkorbwerten und dem Traffic auf der Seite beruht. All diese Metriken bzw. Faktoren werden unterschiedlich gemessen und unterliegen ihrerseits weiteren Einflüssen, die zufällig sein können.

Dies lässt sich an den folgenden zwei Beispielen verdeutlichen:

Ein Problem ist die randomisierte Ausspielung (zufällige Ausspielung) der Testvarianten. Für die Nutzer und Nutzerinnen wird dabei zufällig eine Variante ausgespielt, und die Abweichung in der absoluten Anzahl der Ausspielungen und somit der Verläufe verzerrt in der Regel das Umsatz-Ergebnis. Denn die zufällige Anzahl an mehr NutzerInnen in einer Variante kann zu mehr Umsatz führen, insofern zunehmender Traffic bei gleichbleibender Conversion Rate bekanntermaßen den Umsatz erhöht.

Ein weiteres Problem besteht darin, dass Extrem-Werte in den Warenkorbwerten bei der Berechnung nur aufwendig beglichen werden können. Ein Nutzer bzw. eine Nutzerin kann zum Beispiel durch einen extrem hohen Warenkorbwert, der auf seiner individuellen Situation beruht, den durchschnittlichen Warenkorbwert verzerren. Um ein statistisch signifikantes Ergebnis zu berechnen, müssten diese Extrem-Werte neutralisiert werden. In diesem Fall wäre es Zufall, dass NutzerInnen mit hohen Warenkorbwerten die eine oder andere Variante ausgespielt bekommen.

Kurzum: Wenn es um A/B-Tests geht, ist der Umsatz ein trügerischer Indikator, da dieser per se unterschiedlichen, oftmals eher zufälligen Faktoren unterliegt und der Ursache-Wirkungszusammenhang zumeist komplexer ist, als es sich im jeweiligen Testaufbau abbilden lässt.

Das übergreifende Ziel, weswegen A/B-Testings durchgeführt werden, muss also stets im Fokus bleiben. In Abhängigkeit des Testszenarios müssen zusätzlich sekundäre Ziele, aber auch sich etwaig kannibalisierende Ziele betrachtet werden. Conversion Optimierung funktioniert am besten in Etappen, die nach einzelnen Seitentypen der Website optimiert werden. Dies führt in der Regel zur Steigerung der übergreifenden Conversion Rate. Der Umsatz und der Warenkorbwert müssen immer mit erhoben, dürfen aber nie als Haupt-Erfolgsmetrik angesetzt werden. Wenn mehr Umsatz generiert werden soll, dann muss zwangsweise auch die Traffic-Generierung optimiert werden.