Herhalen van oude A/B en MVT conversie-tests de moeite waard?
Wat is het resultaat als dezelfde A/B-test wordt herhaald en wanneer loont het om een oude test te herhalen? De kernvraag die je jezelf hierbij kunt stellen luidt: Waarom verwacht je ditmaal andere resultaten dan de vorige keer dat de test werd uitgevoerd?
Waarom CRO bij OrangeValley?
- Top optimalisatiebureau in Emerce100
- Data-driven en customer-centric aanpak
- Inhouse Usability Lab voor diepgaand user onderzoek
- MetaDimensions als tool voor kennisborging
- Track record van ruim 15 jaar in optimalisatie
Wanneer kun je oude tests herhalen?
Door de vraag in de inleiding als uitgangspunt te nemen, voorkom je dat er tijd en energie wordt besteed aan het opnieuw uitvoeren van oude tests die naar alle waarschijnlijkheid dezelfde resultaten opleveren. Dit staat los van het feit dat het in een continu testproces verstandig kan zijn oude tests opnieuw te bekijken en de aannames te blijven valideren.
In een aantal gevallen loont het opnieuw uitvoeren van een experiment de moeite, terwijl dit in andere gevallen niet zo is. Hieronder volgen daarom enkele voorbeelden van veranderende omstandigheden. Tevens wordt geadviseerd of op basis van deze veranderde omstandigheden het experiment wel of niet opnieuw uitgevoerd zou moeten worden.
Wanneer een test wel opnieuw uitvoeren?
Vorige experiment ging mis
Dit zal vermoedelijk de meest voorkomende reden zijn om een experiment opnieuw uit te voeren. Herhaling van experiment nodig door invloed van lopende promoties, stopzetten van varianten, verkeerde doelen, onjuiste URL-targeting of abnormale mix van verkeersbronnen.
Internet is veranderd
Geen invloed op conversies. Andere websites voeren vergelijkbare wijzigingen door. Mogelijk te vroeg of gebruikers moeten wennen (user change aversion). Nu mogelijk positieve resultaten. Betrek toekomstig beter de doelgroep.
Organisatie is veranderd
Organisaties veranderen: nieuw productaanbod, prijscategorie, USP's, markt of doelgroep. Overweeg interactie met geteste aspecten. Prijswijzigingen gelden voor alle varianten, maar belangrijke USP kan experiment beïnvloeden.
Website is veranderd
Organisaties veranderen hun website radicaal om de paar jaar op basis van nieuwe standaarden of ontwikkelingen. Dit kan experimentresultaten sterk beïnvloeden, bijv. CTA-kleur kan contrasteren met nieuw design.
Resultaten niet meer beschikbaar
Mogelijke overstap van A/B-testtool of uitvoerende partij, waardoor oorspronkelijke experimentresultaten verloren zijn gegaan. Bij ambigue hypotheses, summiere conclusies of ontbrekende documentatie kan herhaalde uitvoering waardevol zijn. Belang van goede hypotheses, gestructureerde analyse en documentatie wordt benadrukt.
Hoe kom je aan buy-in?
Soms kan het al moeilijk genoeg zijn om het aan organisaties duidelijk te maken dat bepaalde testen uitgevoerd dienen te worden. Dit is des te lastiger bij het opnieuw uitvoeren van oude experimenten. Al gauw worden er argumenten aangedragen als “maar dat hebben we toch al eens bekeken?”. Hoe ga je hiermee om en zorg je dat experimenten die voldoen aan bovenstaande eisen opnieuw getest gaan worden?
Wanneer een test niet opnieuw uitvoeren?
Test quota nog niet gehaald
Testquota kunnen organisaties aansporen om regelmatig experimenten uit te voeren. Herhaaldelijk uitvoeren van oude tests om quota te halen is echter niet bevorderlijk. Advies is om energie te richten op nieuwe experimenten in plaats van arbitraire testquota te halen.
Experiment gaf ongewenste resultaten
Goed opgezette experimenten leveren geen onjuiste, maar mogelijk ongewenste resultaten op. HIPPO's, managers, klanten of conversiespecialisten kunnen andere verwachtingen hebben. Als deze factoren ontbreken, is er geen reden om het experiment opnieuw uit te voeren.
Resultaten niet significant
Niet-significante resultaten kunnen verschillende oorzaken hebben. Korte doorlooptijd van experiment, druk van opdrachtgevers of managers en afwezigheid van groot genoeg verschil in gedrag tussen varianten zijn veelvoorkomende redenen. Artikel 'How Long to Run a Test' gaat dieper in op deze punten. Optimaliseren van relevante microconversies kan verkeer naar macroconversie vergroten.
User interface wijzigingen
Wijzigingen aan de user interface zijn (zeker wanneer geen van de andere criteria hierboven aanwezig zijn) waarschijnlijk geen goede kandidaten voor her-testen. Dit gaat zeker op wanneer deze wijzigingen in lijn zijn met best practices en al helemaal niet wanneer uit een degelijk opgezette test een sterk significant verschil bleek ten gunste van de winnende variant.
Voorganger heeft experiment gedaan
Wanneer deze voorganger (of huidige collega) geen aantoonbare fouten heeft gemaakt in het opzetten of analyseren van het experiment, is er zonder de aanwezigheid van andere factoren waarschijnlijk geen reden dit experiment opnieuw uit te voeren.
Testgedreven organisatie
Het voordeel van een zogenaamde testgedreven organisatie is dat alles open staat voor discussie. Beslissingen en keuzes worden niet genomen door één persoon of een Raad van Bestuur, maar zo veel mogelijk op basis van data en onderzoeken. In een dergelijke organisatie zijn bovenstaande argumenten dan ook voldoende om een experiment opnieuw te gaan uitvoeren.
Jij bent de conversie expert
In het verleden heb je dan ook laten zien dat je uitgebreide kennis van zaken hebt en onderbouwde beslissingen neemt. Deze beslissingen hebben geleid tot interessante nieuwe bevindingen, die er op hun beurt weer tot leiden dat websites hun doelen beter behalen. Wanneer je nog niet over een dergelijke reputatie beschikt, is het zaak om hier aan te werken (en kan eventueel deze blog als referentie worden gebruikt om het her-testen aan de gang te krijgen).
Lager volume van verkeer
Vaak is het mogelijk buy-in te krijgen door het risico ergens van te verlagen. Een goed voorbeeld daarvan is natuurlijk “Laten we dat testen” in plaats van “Laten we dat doorvoeren”. In dit geval kan de drempel om een akkoord te geven op een hertest echter verlaagd worden door een verlaagde hoeveelheid verkeer door het experiment te sturen. Hiermee wordt de kans op een eventuele negatieve invloed van de test verkleind en daarmee tevens het risico om het experiment opnieuw uit te voeren. Wanneer het bezwaar ligt in de benodigde resources of tijd dan is dit argument mogelijk niet bruikbaar.
Onderdelen oude test hergebruiken
In veel gevallen is het mogelijk om delen van de oude test te hergebruiken. Denk hierbij aan stukken design, HTML/JS/CSS code, of simpelweg de setup. Wanneer er screenshots van de varianten worden opgeslagen, maakt dit het nabouwen (zelfs wanneer er geen code meer beschikbaar zou zijn) al veel eenvoudiger. Doordat dit flinke tijd en resources bespaart, kan het vaak eenvoudiger zijn buy-in te krijgen om de test opnieuw te kunnen draaien.
Te verwachten resultaten?
De resultaten van het opnieuw uitgevoerde experiment zijn moeilijk te voorspellen. Wanneer het experiment in één van bovenstaande onderdelen beschreven onder wel/niet uitvoeren valt, dan kan met enige zekerheid worden verwacht dat er wel/niet dezelfde resultaten als voorheen uit zullen komen. Wanneer de omstandigheden niet hetzelfde zijn, dan kan er echter weinig over de uiteindelijke resultaten worden voorspeld.
Dit maal goed opzetten
Zorg er bij het opnieuw uitvoeren van het experiment voor dat dit maal wel alles goed is opgezet. Denk er bijvoorbeeld aan een onderbouwde keuze te maken tussen A/B of MVT testen, een goede hypothese, voldoende doorlooptijd en juist ingestelde doelen. Dit zal de kans op waardevolle learnings uit het experiment aanzienlijk vergroten.
Conclusie: Sommige experimenten zijn wel de moeite waard om opnieuw uit te voeren terwijl andere dit waarschijnlijk niet zijn. Door de beoogde experimenten naast bovenstaande checklist te leggen kan bepaald worden in welke categorie een experiment valt. Loop maar eens door je archief met experimenten en bekijk of er experimenten tussen zitten die je nog op korte termijn opnieuw kunt uitvoeren!
Gerelateerde Producten
KPI sessie
Definieer concrete KPI's om de impact in het digitale kanaal meetbaar te maken.
