Ein Test, ist ein Test, ist ein Test.

Tests, egal ob A/B oder Multivariat, sind praktisch gesehen nur Momentaufnahmen. Wenn wir einen Test fahren, sagen die Ergebnisse nur etwas über das derzeitige Verhalten der User. Aber Menschen neigen ja bekanntlich dazu, sich zu verändern.

Aus diesem Grund ist es wichtig, entweder A) Tests weiter zu entwickeln oder B) Tests nach einer gewissen Zeit erneut zu testen.

Sollte ich meinen A/B Test erweitern?

A) Tests weiterentwickeln
Angenommen wir Testen eine neue Hauptnavigation für einen Onlineshop, weil der Anteil der User, welcher über die Hauptnavigation (nicht Suchfeld) navigiert, schlechter konvertiert. Zudem fällt auf, dass dieses Segment weniger Produktdetailseiten sieht.

Unsere Hypothese ist: Durch das Erweitern der Menüpunkte um bestimmte Kategorien können wir mehr User auf wichtige Kategorien lotsen und somit auch mehr Traffic auf Produktebene bekommen. Durch den ansteigenden Produkttraffic, steigt auch die Konversionsrate im ganzen.

Gehen wir davon aus der Test war erfolgreich, dürfen wir nicht davon ausgehen, dass dies auch so bleiben wird. Je nach Shop, kann dies mehrere Gründe haben. Unter anderem Saison, neue Produktarten, oder Trends und viele weitere Gründe.

Dieser Test muss weiter geführt werden um fortlaufend gute Ergebnisse erzielen zu können und die Plattform weiterentwickeln zu können.

Sollte ich meinen A/B Test wiederholen?

B) Test wiederholen
Diesmal testen wir verschiedene Banner auf unserer SaaS Homepage. Wir haben festgestellt, das User, welche im Funnel auf der Homepage einsteigen weniger engaged sind und die im Funnel wichtigen Seiten (hinter den Bannern) nicht mehr erreichen.

Unsere Hypothese: Unsere Analyse hat ergeben, das wir spezifische Userprofile für die verschiedenen Services ansprechen. Durch tauschen der Banner durch aktuellere Situationsbilder mit den entsprechenden Personas gelangen mehr User auf die entsprechenden Servicepages.

Auch dieser Test wird erfolgreich abgeschlossen, die neuen Banner sind live.

Was passiert aber nach einem Jahr, oder sogar weniger? Die heutigen Branchen entwickeln sich derart schnell weiter, dass gerade solche sensiblen Motivatoren stets auf aktualität getestet werden müssen. Natürlich nicht alle paar Wochen, jedoch sollten nicht allzu grosse Abstände zwischen den Tests liegen um die Wirksamkeit der Elemente sicherstellen zu können.

Diese Punkte gelten selbstverständlich auch für Multivariate Tests.