Zie ik dubbel? Twee conversieratio’s in Google Analytics 4?!

Bijna alle A/B testing tools waaronder Google Optimize berekenen het conversiepercentage per variant op basis van sessies. Dit houdt in dat ze het aantal conversies per variant delen door het aantal sessies in die variant, om het conversieratio te bepalen. Dit is ook de manier waarop het conversieratio in Universal Analytics wordt weergegeven. 

Echter, in Google Analytics 4 zijn twee conversieratio’s beschikbaar: een conversieratio op basis van sessies, en een conversieratio op basis van gebruikers. Waarom toont Google Analytics 4 twee verschillende conversieratio’s? En welke ratio is de juiste? In dit artikel bespreken we de voor- en nadelen van beide conversieratio’s en geven we je advies over welke het meest betrouwbaar is. 

Scenario 1: Wanneer meten op basis van gebruikers beter kan zijn

Stel je staat op het punt om een stedentrip te boeken naar Londen. Je start je browser en je hebt enkele leuke hotels gevonden via een vergelijkingssite. Je komt ongemerkt in de variant terecht van een A/B test die draait op de categoriepagina van de vergelijkingssite. Voordat je boekt wil je de verschillende opties nog wel even voorleggen aan je partner. Je sluit je browser af en kijkt in het weekend samen nog even naar de verschillende opties. In de nieuwe sessie wordt je ingedeeld in de control versie van de A/B test en je boekt in deze versie het hotel.

In het bovenstaande scenario heeft een gebruiker twee sessies nodig om tot een conversie te komen. Wanneer je het conversieratio van deze A/B test berekent op basis van gebruikers, komt het uit op 100%. Echter, wanneer je het conversiepercentage berekent op basis van sessie, dan is het conversieratio slechts 50%. Een flink verschil dus. In werkelijkheid zal de waarheid ergens in het midden liggen. Maar voor de conclusies van je A/B test zul je wel een keuze tussen deze conversieratio’s moeten maken. In dit geval ligt het voor de hand om te kiezen om conversiepercentage te bepalen op basis van gebruikers. Er is namelijk één gebruiker die één keer heeft geconverteert. 

Een bijkomende complexiteit is dat eenzelfde gebruiker, door het verlopen van de cookies, in verschillende varianten kan worden ingedeeld bij meerdere sessies binnen dezelfde A/B test. Hierdoor heeft de methode die gebruikt ook nog invloed op de variant waar de conversie aan wordt toegeschreven. Lees hier meer over de uitdagingen van A/B testing en cookies. 

Hieronder beschrijven we een tweede scenario, waarin het juist beter kan zijn om je conversiepercentage te bepalen op basis van sessies. 

Scenario 2: Wanneer meten op basis van sessies beter kan zijn

Stel je bent op zoek naar een nieuwe winterjas. Je start je browser (nieuwe sessie) en je bezoekt verschillende websites om hun winterjassen te bekijken. Na een korte zoektocht kom je in een webshop met een winterjas die aan je wensen voldoet. Ongemerkt beland je in de control van een A/B test die draait op de productpagina van deze webshop. Je ziet ook nog een mooie sjaal in deze webshop. Je twijfelt om deze te kopen, maar doet dit uiteindelijk toch niet. Één dag later besluit je om de sjaal toch te kopen. Je keert terug naar de webshop. Je belandt wederom in dezelfde A/B test en koopt de sjaal. 

In het bovenstaande scenario heeft dezelfde gebruiker twee keer geconverteerd binnen dezelfde A/B test. Wanneer je het conversieratio van deze A/B test berekent op basis van gebruikers, is het 200%. Echter, wanneer je het conversieratio berekent op basis van sessies, is het percentage 100% zijn. Ook in dit scenario kan er dus weer een aanzienlijk verschil ontstaan in conversieratio, op basis van je keuze voor een statistiek. In dit scenario ligt het meer voor de hand om te kiezen voor een conversieratio op basis van sessies. Er is namelijk twee keer een aankoopproces aangegaan op twee aparte momenten.   

Er zijn dus meerdere scenario’s mogelijk, waarbij het voor de hand ligt om een ander conversieratio  te gebruiken. Hieronder bespreken we de voor- en nadelen van het gebruiken van elk conversiepercentage.

Gebruikers krijgen het voordeel van de statistiek

Statistisch gezien worden je conclusies betrouwbaarder, wanneer je het conversieratio berekent op basis van gebruikers. Binnen statistische principes wil je namelijk gebruik maken van willekeurige steekproeven in A/B tests, zogenoemde “random samples”. Een “random sample” is een willekeurige steekproef van individuen uit de gehele populatie, waarin elke groep individuen een even grote kans heeft om gekozen te worden. Deze methode van steekproeven zorgt ervoor dat je onbevooroordeeld je hypothese onderzoekt. Het zorgt dus voor de meest zuivere data in je A/B test, wat leidt tot de meest representatieve en betrouwbare resultaten.

Voordat een steekproef echt willekeurig genoemd kan worden, moet aan enkele voorwaarden worden voldaan. Alle gebeurtenissen binnen de steekproef moeten namelijk onafhankelijk zijn. Binnen de statistiek zijn gebeurtenissen onafhankelijk van elkaar, wanneer er op geen enkele manier een connectie is tussen de gebeurtenissen. Wanneer je je conversieratio op basis van sessies zou berekenen, kan dit, statistisch gezien, problemen opleveren.

Denk terug aan het eerste scenario. In dit geval is er wel een connectie tussen de verschillende gebeurtenissen. De sessies zijn immers door dezelfde gebruiker gestart. Hierdoor wordt een voorwaarde voor de statistiek geschonden. Wanneer je, in dit scenario, het conversieratio bepaalt op basis van sessies, kun je statistisch minder betrouwbare conclusies trekken. Wanneer je het conversiepercentage zou bepalen op basis van gebruikers heb je dit probleem niet. In dit scenario zijn alle individuele gebruikers namelijk wel onafhankelijk van elkaar.

In de praktijk is het gebruiken van sessies toch beter

Echter, in de praktijk is het bijna niet mogelijk om je conversieratio betrouwbaar te bepalen op basis van gebruikers. Dit heeft te maken met de verschillende definities van een gebruiker in verschillende browsers. Of iemand wordt gezien als dezelfde gebruiker wordt namelijk bepaald door de cookie in je browser. Wanneer iemand je website bezoekt gaat Google Analytics namelijk op zoek naar een tracking cookie, om te bepalen om die persoon een nieuwe of terugkerende gebruiker is. Als deze cookie aanwezig is, registreert Google Analytics deze persoon als een terugkerende gebruiker. Wanneer de cookie niet aanwezig is, registreert Google Analytics de persoon als nieuwe gebruiker.

Het is dus afhankelijk van de aanwezigheid van cookies of een gebruiker wordt beschouwd als dezelfde gebruiker na verloop van tijd. Omdat browsers de cookies niet voor dezelfde duur bewaren, kunnen er grote verschillen ontstaan in de definitie van een gebruiker. In Safari wordt een first-party cookie namelijk slechts 7 dagen bewaard (wanneer de gebruiker binnen een week niet terugkeert naar de website), terwijl deze in Google Chrome veel langer wordt bewaard. Als dezelfde gebruiker dus via Safari je website bezoekt en twee dagen later nog eens, dan wordt deze gebruiker dus alsnog als twee verschillende gebruikers geregistreerd. Terwijl, wanneer deze gebruiker hetzelfde zou doen via Google Chrome, dan zou de gebruiker wel als dezelfde gebruiker worden geregistreerd.

Wanneer je je conversieratio dus berekend op basis van gebruikers, is het conversieratio afhankelijk van de browsers die de personen in de A/B test gebruiken. Dit betekent dat je conversieratio niet betrouwbaar kan bepalen, als je het meet op basis van gebruikers. Wanneer je het conversieratio meet op basis van sessies, heb je geen last van externe factoren die verschillen veroorzaken in de definitie van een sessie. Je kunt namelijk zelf in Google Analytics de definitie van een sessie instellen. Hierdoor heb je altijd een eenduidige definitie van een sessie en kun je je conversieratio wel betrouwbaar bepalen.

Praktijk verslaat theorie

Er zitten dus voor- en nadelen aan beide conversieratio’s. Echter, om conclusies te kunnen trekken over je A/B test zul je toch een keuze moeten maken tussen de twee. Ondanks dat Google Analytics 4 de optie biedt om twee verschillende conversieratio’s te berekenen, zouden wij er voor kiezen om één type conversieratio te gebruiken. Hierdoor baseer je je A/B tests altijd op dezelfde statistiek en wordt het gemakkelijker om ze met elkaar te vergelijken. 

Welke keuze je maakt kan grote invloed hebben op de uitkomst van je A/B test. In onze ogen is het, op dit moment, altijd beter om te kiezen voor een conversieratio op basis van sessies. Hoewel het theoretisch beter is om conversieratio te bepalen op basis van gebruikers, is dat in de praktijk (nog) niet werkbaar door de verschillen tussen browsers. Net zoals altijd, moet je dus rekening houden met de beperkingen die de echte wereld met zich meebrengt. In theorie, is het dus leuk dat Google Analytics 4 een conversieratio op basis van gebruikers beschikbaar heeft gemaakt. Echter, in de praktijk, zal dit conversieratio minder betrouwbare conclusies opleveren dan het conversiepercentage op basis van sessies.