Was heute gewinnt, kann morgen verlieren
Ein Test, ist ein Test, ist ein Test.
Tests, egal ob A/B oder Multivariat, sind praktisch gesehen nur Momentaufnahmen. Wenn wir einen Test fahren, sagen die Ergebnisse nur etwas über das derzeitige Verhalten der User. Aber Menschen neigen ja bekanntlich dazu, sich zu verändern.
Aus diesem Grund ist es wichtig, entweder A) Tests weiter zu entwickeln oder B) Tests nach einer gewissen Zeit erneut zu testen.
Sollte ich meinen A/B Test erweitern?
A) Tests weiterentwickeln
Angenommen wir Testen eine neue Hauptnavigation für einen Onlineshop, weil der Anteil der User, welcher über die Hauptnavigation (nicht Suchfeld) navigiert, schlechter konvertiert. Zudem fällt auf, dass dieses Segment weniger Produktdetailseiten sieht.
Unsere Hypothese ist: Durch das Erweitern der Menüpunkte um bestimmte Kategorien können wir mehr User auf wichtige Kategorien lotsen und somit auch mehr Traffic auf Produktebene bekommen. Durch den ansteigenden Produkttraffic, steigt auch die Konversionsrate im ganzen.
Gehen wir davon aus der Test war erfolgreich, dürfen wir nicht davon ausgehen, dass dies auch so bleiben wird. Je nach Shop, kann dies mehrere Gründe haben. Unter anderem Saison, neue Produktarten, oder Trends und viele weitere Gründe.
Dieser Test muss weiter geführt werden um fortlaufend gute Ergebnisse erzielen zu können und die Plattform weiterentwickeln zu können.
Sollte ich meinen A/B Test wiederholen?
B) Test wiederholen
Diesmal testen wir verschiedene Banner auf unserer SaaS Homepage. Wir haben festgestellt, das User, welche im Funnel auf der Homepage einsteigen weniger engaged sind und die im Funnel wichtigen Seiten (hinter den Bannern) nicht mehr erreichen.
Unsere Hypothese: Unsere Analyse hat ergeben, das wir spezifische Userprofile für die verschiedenen Services ansprechen. Durch tauschen der Banner durch aktuellere Situationsbilder mit den entsprechenden Personas gelangen mehr User auf die entsprechenden Servicepages.
Auch dieser Test wird erfolgreich abgeschlossen, die neuen Banner sind live.
Was passiert aber nach einem Jahr, oder sogar weniger? Die heutigen Branchen entwickeln sich derart schnell weiter, dass gerade solche sensiblen Motivatoren stets auf aktualität getestet werden müssen. Natürlich nicht alle paar Wochen, jedoch sollten nicht allzu grosse Abstände zwischen den Tests liegen um die Wirksamkeit der Elemente sicherstellen zu können.
Diese Punkte gelten selbstverständlich auch für Multivariate Tests.
Testest du, was du denkst zu testen?
Es kann durchaus Situationen geben, welche ungewollt zu verfälschten Ergebnissen führen.
Dies sind Tests, welche man aus eine Hypothese heraus beginnt, jedoch sind die Ergebnisse zum Beispiel aufgrund anderer Einflussfaktoren nicht aussagend um die Hypothese zu bestätigen.
Folgend ein Beispiel.
Es wird ein neues Layout einer Landingpage getestet.
Die Hypothese lautet:
Durch die Verlagerung der visuellen Hierarchie gelangt mehr Aufmerksamkeit auf die Testimonials und überzeugt mehr User durch Social Proof.
Der Test ist aufgesetzt, die Testimonials erzählen in den besten Tönen, die neue Variante gewinnt haushoch.
Alles perfekt, next Step Deployment? Leider nicht.
Was keiner bedacht hat, ist dass es genau für diese Projekt eine externe Kampagne gab, welche genau dieses Angebot beworben hat. Der Fall ist klar. Hier kann keine signifikante Aussage zur Gewinnerversion gemacht werden, da die Ergebnisse verwässert sind.
Abgesehen von internen Einflüssen, kann dies aber auch durch externe EInflüsse geschehen. Trends, Shitstorms, News und vieles mehr kann einen Einfluss auf einen Test haben.
Happy Testing!