Conversieoptimalisatie deep dive: De Bayesian vs Frequentist methode

In de statistiek gaat het al langere tijd over welke statistische methode het beste is. Deze discussie heeft zich al enige tijd verspreid naar de online marketingwereld. Specifiek is het een thema dat aandacht krijgt binnen het vakgebied conversie optimalisatie en de statistiek die daarbij komt kijken. Zo test een goede Conversie Optimalisatie Specialist altijd de uitgevoerde A/B tests op hun effecten. U wilt immers weten of uw aanpassing (variant) een betekenisvol- en positief verschil maakt op de metrics waar u om geeft (omzet, conversiepercentage, doorklikpercentage etc.). Zo kunt u de zuiverste business decisions maken en leert u meer van uw A/B-tests.

Bent u bezig met A/B-testing en vraagt u zichzelf af of uw statistische methodiek wel de juiste is? Of wilt u gewoonweg meer weten over het onderwerp?
Dan lees u in dit artikel de voor- en nadelen van twee statistische methodes: Bayesian en Frequentist. U wilt er immers wel zeker van zijn dat u de juiste beslissingen maakt als het gaat om aanpassingen op uw website.

Na het lezen van dit artikel bent u goed in staat om de verschillen tussen Bayesian en Frequentist statistiek te benoemen. Ook weet u in de juiste situaties de juiste statistische methode toe te passen. Zo kan u zelf bepalen met welke statistische methode u het meest efficiënt tot de juiste conclusies komt om betekenisvolle positieve resultaten te behalen op de belangrijkste metrics voor uw organisatie (Omzet, conversiepercentage etc.).

Wat is Frequentist en wat is Bayesian?

Frequentist is de ‘klassieke school’ (lees: methode) van de statistiek. Deze manier van statistiek wordt gebruikt in de wetenschap en is gebaseerd op het idee dat u met een vooraf te bepalen impact van uw experimentele manipulatie (variant) een bepaalde hoeveelheid datapunten (bezoekers & conversies) nodig hebt. Er wordt altijd een nulhypothese (er is geen verschil) tegenover een alternatieve hypothese gesteld (er is wel verschil). Het is dan aan de experimentele manipulatie (variant) om te bewijzen dat deze (significante) verschillen teweegbrengt ten opzichte van de controle variant. Op basis hiervan doet Frequentist na de juiste berekeningen (power, sample size, p-waarde, confidence interval) een uitspraak over welke van de twee varianten statistisch significant beter is.

De Bayesian ‘school’ (lees: methode) pakt het wat anders aan en wordt nu veelvuldig gebruikt in de online marketing. Het idee hierachter is gebaseerd op de Bayesiaanse waarschijnlijkheidstheorie en gaat ervan uit dat er voor uw test al een bestaande verdeling was waarop uw controle- en test variant scoren. Bij goede Bayesian testing wordt er 1 werkbare hypothese gesteld, en deze wordt getest. Het is hierbij aan de experimentele variant om de bestaande verdeling (prior) te verschuiven zodat deze uiteindelijk verschilt van de controle variant. Op basis hiervan doet Bayesian berekeningen en uitspraken over de kans dat één van de varianten beter zal presteren dan de andere variant.

Frequentist en Bayesian statistiek zijn allebei methodes die gebruikt worden bij A/B-testing. Zij proberen beiden aan de hand van data (experimenten) uitspraken te doen over welke variant beter zal gaan presteren. De weg naar deze uitspraak is echter toch wel anders en de uiteindelijke uitspraak verschilt ook zoals u nu inmiddels weet. Aan de hand van de de punten Communicatie, Gebruik en Zekerheid gaan we behandelen welke statistische methode voor u de juiste is!

Bayesian communiceert een stuk gemakkelijker

Het is veel makkelijker en transparanter om een kans op succes door te communiceren dan om de statistische aannames door te communiceren die Frequentistische statistiek vereist (P-waardes, Confidence Intervals, Nul-hypothese e.d.). In de Online Marketing en Conversie Optimalisatie heeft niet iedereen evenveel kaas gegeten van het onderwerp statistiek. Juist daarom is de mogelijkheid om gemakkelijk resultaten door te communiceren erg belangrijk!
Vaak zijn de mensen waarmee u schakelt geïnteresseerd in hoe de adviezen tot stand komen en waar ze op zijn gebaseerd. Hierin heeft Bayesian zeker een voordeel ten opzichte van Frequentist. Direct hieraan gerelateerd is natuurlijk het gebruiksgemak van de statistische methode. Welke van de twee methoden is gemakkelijker te gebruiken?

Bayesian is gemakkelijker in gebruik

Er komen steeds meer tools online waarmee u gemakkelijk Bayesiaans kunt testen. Dit, naast het gemak waarmee u testresultaten kunt analyseren en interpreteren, zorgt ervoor dat Bayesiaans steeds gemakkelijker in te zetten is. Deze tools en mogelijkheden maken het ook steeds gemakkelijker om met Bayesiaanse statistiek bezig te zijn, zonder hier veel van te moeten begrijpen. De meeste tools geven u namelijk een kans dat variant B beter zal presteren dan A, wanneer u de bezoekers- en transactie-aantallen ingeeft. Wat hier achter de schermen gebeurt is dus niet ‘nodig’ om uitspraken te kunnen doen over uw data.

Dit is uiteraard een enorm voordeel, aangezien het hierdoor erg laagdrempelig is. Het zorgt echter ook voor een grote valkuil wanneer mensen ook tests opzetten en uitspraken gaan doen over data die niet goed past bij Bayesian statistiek. Het foutief inzetten van A/B-testing en de statistiek leidt tot verkeerde business decisions en heeft daarmee ook impact op de omzet! Het is daarom sterk aan te raden om de juiste kennis in te schakelen van een Conversie Specialist die hier uitgebreide ervaring mee heeft.
Kortom is Bayesian dus gemakkelijker in gebruik en implementatie, maar laat de flexibiliteit wel ruimte voor human errors. Deze kans op human errors kan dan wel weer gemakkelijk ondervangen worden door het juist inzetten van de juiste experts op dit gebied. Deze trend waarin Bayesian flexibeler is dan Frequentist zien we ook op andere punten terug.

Frequentist test strenger, maar Bayesian is flexibeler

Frequentistische statistiek is erg streng in zijn eisen. Er zijn twee onfeilbare hypotheses, de nulhypothese die stelt dat er geen verschil is, en de experimentele hypothese die stelt dat er wel verschil is. Ook dient u voordat u begint met data verzamelen al verschillende zaken te hebben uitgezocht. Zo moet u op voorhand de power (gebaseerd op verwachte impact van uw testvariant) berekenen en uw benodigde hoeveelheid datapunten (users). De getallen die hieruit komen zijn absoluut en moeten hoe dan ook nageleefd worden, anders is uw test niets meer waard.
Dit zorgt voor meer rigiditeit en een lang proces voordat u überhaupt begint met data verzamelen, maar zorgt ook voor een streng eindoordeel. Mocht u dus het geduld hebben en de moeite er in steken en aan het einde van de rit (wat soms maanden kan duren) een significant resultaat vinden, dan kunt u er ook relatief zeker van zijn dat u de juiste beslissing aan het maken bent. Deze trage opzet van Frequentistische tests is vaak een erg lastig punt in de dynamische en snel veranderende online marketing wereld.
Bayesian is flexibeler in dat er geen aannames van tevoren gesteld hoeven te worden. Dit is een voordeel aangezien organisaties en de online wereld natuurlijk behoefte hebben aan flexibiliteit. Echter is het ook een mogelijk nadeel wanneer er niet juist wordt omgegaan met deze flexibiliteit. Het is namelijk zo dat Bayesiaanse statistiek met evenveel ‘zekerheid’ kan spreken dat B beter zal zijn dan A na 10 observaties (conversies) als na 100 observaties. Het is hierbij dus erg belangrijk om de kwaliteit van uw experimenten te bewaken en alsnog een soort benchmark te zetten voor hoeveel observaties nodig zijn om nuttige uitspraken over te kunnen doen. Bij OrangeValley hanteren wij een minimale looptijd van 2 business cycles en daarbij ook een minimum aantal bezoekers en conversies gebaseerd op het gemiddelde online verkeer. Een test op een website met weinig verkeer zal immers toch langer moeten lopen, om nuttige uitspraken te kunnen doen over uw data.

Conclusie: Bayesian is de beste keus, maar kwaliteitsbewaking is nodig!

De ervaring leert dat Bayesian het prettigst werkt voor A/B-testing bij de meeste organisaties. Dit komt voornamelijk door het gemakkelijker bespreken van uw resultaten. Ook is de flexibiliteit die Bayesian statistiek toelaat een groot voordeel, waar Frequentist vaak te strikt is in haar eisen.
Zoals besproken is deze flexibiliteit een enorm voordeel, maar wel alleen wanneer de kwaliteit van de A/B-testing en statistiek wordt bewaakt door iemand met de juiste kennis van zowel A/B-testing als statistiek. Mijn advies is dan ook om een goede kwaliteitsbewaker te betrekken bij uw A/B-testing en zo samen tot de beste resultaten te komen voor uw organisatie. Beide statistische methoden hebben immers kennis nodig om tot hun volle potentie gebruikt te worden.

Het grootste verschil is dat u bij Bayesian zelf de kwaliteit moet waarborgen, wat wel meer flexibiliteit biedt. Het is op vrijwel alle fronten de statistische methode die de meeste werkbaarheid biedt door de flexibiliteit en de omgang met data. Het is echter niet zo dat de ene methode per definitie BETER is dan de ander. Het advies dat volgt uit een experiment met goede Bayesian statistische analyse en interpretatie zal vrijwel altijd hetzelfde advies geven als een experiment met goede Frequentistische statistiek analyse en interpretatie. Bayesian is in de context van de werkvloer en de dynamische online omgeving vaak sneller, werkbaarder en gemakkelijker, maar niet betrouwbaarder, beter of superieur ten opzichte van Frequentistische statistiek in een absolute zin.

Voor beide soorten statistiek is het echter sterk aan te raden om een specialist te hebben die de kwaliteit van uw experimenten waarborgt door de juiste kennis over experimenteren en de bijbehorende statistiek.

Frequentist versus Bayesian voor conversieoptimalisatie

Over de auteur
Mike van der Burgt is conversie optimalisatie consultant bij OrangeValley. Zijn opleiding in de Economische Psychologie stelt hem in staat om klantgedrag nauwkeurig te bestuderen, begrijpen en hier naar te handelen. Mike ziet de online wereld namelijk als dé kans om gedrag te bestuderen en op basis hiervan je marketing en communicatie optimaal in te richten. Zo gaat Mike voor een optimale beleving van je website waarbij de bezoeker het uitgangspunt is.