„A/B-Tests sind der schönste Beweis für erbrachte Mehrwerte“ – Job van Hardeveld im Interview

Hallo, Job und willkommen bei LEAP/. Du hast ja bei Barketing das Conversion-Team mit aufgebaut und bist jetzt auch bei reBuy derjenige, der das Team von Null aufbaut. Wie sehr gleichen sich die beiden Aufgaben – und wo gibt es hier Unterschiede zwischen der Agentur und der Inhouse-Position?

Ja, im Jahr 2015 wollten Thomas und Christoph neben SEO noch weitere Standbeine für Barketing aufbauen. CRO war eins von diesen Standbeinen und zusammen mit Michael Fritz, der damals hauptverantwortlich für das CRO-Projekt war, haben wir das dann aufgebaut. Das war ein sehr lehrreiche und interessante Zeit.

Bei reBuy habe ich nicht wirklich ein Team von Null aufgebaut. Ich bin verantwortlich für das Thema CRO, aber ein Team gibt es nicht wirklich. Statt ein isoliertes Team zu bauen, versuche ich, viel mehr in alle Teams ein bisschen CRO-Denken einzubringen. Es gibt mittlerweile dann auch mehrere Teams, die A/B-Testing machen und die Test-Ideen kommen von sehr vielen unterschiedlichen Mitarbeitern.

Es gibt einige Unterschiede zwischen den beiden Positionen. Bei LEAP/ war es immer interessant, mit vielen unterschiedlichen Kunden zu arbeiten und immer wieder neue Projekte zu haben. Bei reBuy kann ich mich mal wirklich intensiv auf eine Website stürzen und versuchen, die User-Experience immer wieder ein bisschen besser zu machen. Im Vergleich weiß ich bei reBuy also viel mehr über die Besucher und die Website.

Gibt es denn Dinge aus der Zeit bei LEAP/, die dir jetzt im Umgang mit der Website (oder auch mit den Kollegen/Vorgesetzten) weiterhelfen?

Definitiv. Die Basis für das ganze CRO-Wissen, das ich mittlerweile aufgebaut habe, kommt aus meiner Zeit bei Barketing und LEAP/. Die ersten User-Testings, Personas, A/B-Tests und Analysen habe ich alle bei LEAP/ gemacht.

Auch wusste ich, weil ich viel mit unterschiedlichen Kunden gearbeitet habe, genau, wie man Leuten die Vorteile von A/B-Testing und CRO erklärt. Dies war am Anfang hilfreich, um meine Vorgesetzten und Kollegen bei reBuy auch davon zu überzeugen.

Was ist denn dein Ansatz, um Menschen, die noch nichts über CRO wissen, das Thema näherzubringen?

Es gibt keinen schöneren Weg als einen A/B-Test, um zu beweisen, dass eine Änderung wirklich einen Mehrwert für deine Firma gebracht hat. Wenn die Stichprobe groß genug ist und man eine Signifikanz erreicht, dann weiß man einfach, dass man die Metriken gerade verbessert hat. Das macht Spaß.

Außerdem find ich es seit meinem Studium der Mediapsychology immer wieder faszinierend zu sehen, wie man Besucher beeinflussen kann. Das menschliche Gehirn ist einfach mega interessant.

Magst du für die Leser, die das nicht wissen, mal erklären, wodurch sich eine Signifikanz bei A/B-Tests auszeichnet? Weil das ist ja ein Thema, das viele Leute gerne mal übersehen.

Sehr gerne. Am Ende macht man einen A/B-Test, weil man wissen will, ob eine Änderung langfristig einen Mehrwert bringen wird. Da man nicht alle Besucher, die irgendwann mal auf der Seite waren oder sein werden, fragen kann, nimmt man eine Stichprobe. Die Signifikanz sagt aus, inwieweit die Testergebnisse sich auf die Gesamtheit übertragen lassen und damit gut darstellen, was wahrscheinlich in der Realität passieren wird.

Ich kann mir vorstellen, dass es Tests gibt, die dir persönlich sehr am Herzen liegen – weil du dir z. B. sicher bist, dass sie richtig gut sind. Wie gehst du damit um, wenn solche Tests nicht das gewünschte Ergebnis bringen? In einem halben Jahr nochmal versuchen oder abhaken?

Wenn ich wirklich an ein Thema glaube, würde ich sowas niemals einfach abhaken. Ich würde die Daten vom Test richtig gut analysieren, um herauszufinden, warum es nicht funktioniert hat. Gab es vielleicht bestimmte Segmente (z. B. nur wiederkehrende Besucher oder Tablet-User) die extrem schlecht performt haben? Warum kann dies sein?

Dann können diese Learnings benutzt werden, um einen Follow-up-Test vorzubereiten. Wenn wir die Auswertung richtig interpretiert haben, wird der Test besser ausgehen. Wenn nicht, fängt der ganze Spaß wieder von vorne an.

Das ergibt Sinn. Aber wie schaffst du es, deinen Chef immer wieder davon zu überzeugen, dass solche Tests auch in mehreren Ausführungen nötig sind? Oder vertraut er dir da mittlerweile komplett, weil er die vergangenen Ergebnisse kennt und es deswegen einordnen kann?

Ich bekomme bei reBuy sehr viel Vertrauen. Das ist sehr wichtig, weil nur ein kleiner Teil der Tests positiv ausgeht. Das klingt erstmal komisch, aber dies ist bei allen Websites, die viel A/B-Testing machen, der Fall. Wichtig ist, dass man immer wieder etwas lernt.

Es ist gut, dass mein Vorgesetzter dies auch versteht. Und daher brauche ich nicht wirklich viel Überzeugungskraft. Wichtig ist aber schon, dass ich nach einem Plan arbeite und bestimmte Ziele vor Augen habe.

Da hast du sicher Glück gehabt. Wenn du mal deine Stationen vergleichst: Wo sind für dich in der Herangehensweise die größten Unterschiede für dich zwischen SEO und CRO?

Es sind am Ende zwei unterschiedliche Bereiche, wo man schon sehr unterschiedlich herangeht. Am Ende hat sich aber viel geändert, seitdem die User-Signals ein wichtiger Ranking-Faktor geworden sind. Mittlerweile sollte jeder SEO wenigstens ein bisschen CRO verstehen (und andersrum).

Kannst du dir denn persönlich auch vorstellen, mal wieder SEO zu machen? Oder hast du dich im CRO endgültig gefunden?

Nein, ich glaube, ich werde nicht wieder zurück zum SEO-Bereich gehen. Trotzdem lese ich gerne SEO-Blogs und probiere, auf dem neuesten Stand zu bleiben. Ich glaube, ich mag CRO am Ende mehr, da hier der psychologische Aspekt mehr zum Tragen kommt.

Wie schaffst du es denn, dich beim Thema Psychologie immer weiterzubilden? Liest du auch dort viele (wissenschaftliche) Artikel oder kommt das durch die vielen Tests ganz automatisch?

Ich lese sehr gerne psychologische Artikel. Diese Artikel müssen aber nicht immer wissenschaftlich und „trocken“ sein. Man findet auch öfter mal sehr interessante Themen in Zeitungen (z. B. Welt der Wunder) und in manchen TV-Programmen (z. B. Galileo). Es muss nicht immer direkt mit CRO verbunden sein, um als Inspiration für einen A/B-Test zu fungieren.

Vielen Dank für die spannenden Antworten und viel Spaß weiterhin bei rebuy!