A/B testing met de Bayesian Calculator

De online Bayesian Calculator van OrangeValley is een handige tool voor iedereen die bezig is met A/B-testing. De tool is ontwikkeld om uitspraken te kunnen doen over de kans dat een testvariant beter zal presteren dan een controlevariant.

Bayesian Calculator, wat is het en hoe werkt het nu eigenlijk?

Binnen conversie optimalisatie, maar ook andere online marketing disciplines, is het wenselijk om uw ingrepen (varianten) te kunnen valideren. Zo kunt u er zeker van zijn dat uw aanpassingen en ingrepen daadwerkelijk een effect (gaan) hebben op uw belangrijkste business metrics of KPI’s. Voor het valideren van deze varianten kunt u de Bayesian Calculator gebruiken.

De tool wordt binnen OrangeValley veelal gebruikt om vanuit het specialisme Conversie Optimalisatie de A/B-tests statistisch te toetsen. Zo valideren wij of een ingreep een verbetering zal realiseren op het aantal transacties, of andere conversies als clickthroughs. Enkel door het aantal gebruikers en het aantal conversies in de test aan te geven kunnen wij een kans op verbetering berekenen. Naast de kans op verbetering geven wij ook de verwachte uplift in een relatief percentage. Deze uplift kan gaan over eindconversies als transacties, maar kan ook gebruikt worden voor clickthrough rates op uw belangrijkste buttons, e-mails of andere successen.

Ook graag datagedreven uw campagnes en websites verbeteren? Gebruik dan onze Bayesian Calculator en bereken uw weg naar succes!

Bent u bezig met A/B-testing en vraagt u zichzelf af of uw statistische methodiek wel de juiste is? Of wilt u gewoonweg meer weten over het onderwerp? In dit artikel leest u over de voor- en nadelen van twee statistische methodes: Bayesian en Frequentist. U wilt er immers wel zeker van zijn dat u de juiste beslissingen maakt als het gaat om aanpassingen op uw website.

Belangrijk bij gebruik Calculator

Wat allereerst belangrijk is bij het gebruik van een Bayesian Calculator is de kwaliteit van uw data. Wanneer data van slechte kwaliteit in de tool wordt gebruikt krijgt u onbetrouwbare resultaten terug. De tool heeft niets anders nodig om mee te rekenen dan het ingegeven aantal gebruikers en conversies per variant. De tool doet met deze data duizenden simulaties om zo een goed beeld te krijgen van hoe de varianten zich tot elkaar verhouden (welke doet het vaker beter). Hiervoor heeft de tool een gemiddeld conversiepercentage nodig per variant, welke gemakkelijk berekend is (aantal conversies gedeeld door het aantal gebruikers).

Daarnaast heeft de tool echter nog een schatting nodig van de mogelijke afwijkingen. Conversiepercentages zijn immers niet elke dag exact gelijk, maar fluctueren. De tool schat deze dag-tot-dag fluctuaties zelf. Heel handig, want dit stelt u in staat uitspraken te doen over de waarschijnlijkheid waarmee de ene variant beter zal presteren dan de andere. Hierbij is het echter wel van belang om ervan bewust te zijn dat deze algemene inschatting van de verschillen, van dag tot dag de kwaliteit van uw data negeert.

Graag gebruiken wij een klein voorbeeld met fictieve data om het bovenstaande punt te illustreren.

In bovenstaande tabel ziet u drie varianten die 10 dagen gelopen hebben (veel te kort, maar gemakkelijker om het punt te illustreren). Er is een duidelijk verschil in de kwaliteit of spreiding van de data. Waarbij B de meest betrouwbare meting heeft, gevolgd door A en ver daaronder C met absurde data. We kunnen echter zien dat de twee gegevens die Bayesian Calculators gebruiken, gemiddelde en een indicatie van de fluctuatie, voor elke variant gelijk zijn, ongeacht de datakwaliteit. (Hier is gebruik gemaakt van de standaarddeviatie, dit is een optie om de fluctuatie te bekijken).

Het is dus belangrijk om kwalitatief goede data in de tool te plaatsen zodat u ook goede resultaten terugkrijgt. Wanneer u data van slechte kwaliteit gebruikt in een Bayesian Calculator gaat deze simulaties runnen met uw slechte data, waardoor u ook resultaten terug krijg van lage kwaliteit. Aangezien de calculator een schatting doet van de spreiding in uw data, is het aan eenieder die de tool gebruikt om te zorgen dat de spreiding niet al te groot is en dat de standaarddeviatie dus niet te groot is.

Hoe hebben we er dan voor gezorgd dat onze data meer lijkt op B dan op C? Dit is simpelweg te realiseren door de test lang genoeg live te laten staan. Hoe meer data u verwerft, hoe meer uw data zal gaan lijken op de verdeling binnen B. Het is immers zo dat u steeds meer gegevens verzameld rond 1 “ware” waarde voor het conversiepercentage.

To Do’s A/B testing

• Zet de juiste experimenten op
• Stop de verkregen resultaten in onze Bayesian Calculator
• Bepaal het percentage risico waarmee u en uw organisatie zich vertrouwd voelen.
  (Wij hanteren doorgaans een minimale kans van 80% voor het doorvoeren van varianten)
• Vind varianten die ervoor zorgen er meer rendement behaald wordt uit elke bezoeker!

Meer weten over het proces van Conversie Optimalisatie en hoe u de juiste experimenten opzet? Neem contact op met een van onze Conversie Optimalisatie Specialisten.

Ook is het mogelijk een specialist een training te laten geven binnen uw bedrijf. Mail hiervoor naar [email protected].