Es kann durchaus Situationen geben, welche ungewollt zu verfälschten Ergebnissen führen.

Dies sind Tests, welche man aus eine Hypothese heraus beginnt, jedoch sind die Ergebnisse zum Beispiel aufgrund anderer Einflussfaktoren nicht aussagend um die Hypothese zu bestätigen.

Folgend ein Beispiel.
Es wird ein neues Layout einer Landingpage getestet.

Die Hypothese lautet:
Durch die Verlagerung der visuellen Hierarchie gelangt mehr Aufmerksamkeit auf die Testimonials und überzeugt mehr User durch Social Proof.

Der Test ist aufgesetzt, die Testimonials erzählen in den besten Tönen, die neue Variante gewinnt haushoch.

Alles perfekt, next Step Deployment? Leider nicht.

Was keiner bedacht hat, ist dass es genau für diese Projekt eine externe Kampagne gab, welche genau dieses Angebot beworben hat. Der Fall ist klar. Hier kann keine signifikante Aussage zur Gewinnerversion gemacht werden, da die Ergebnisse verwässert sind.

Abgesehen von internen Einflüssen, kann dies aber auch durch externe EInflüsse geschehen. Trends, Shitstorms, News und vieles mehr kann einen Einfluss auf einen Test haben.