Case Hunkemöller: SEO A/B Testing bij Hunkemöller resulteert in substantiële businessresultaten

A/B testen is een bekend begrip voor customer experience optimization (CXO) of het optimaliseren van advertenties. Met het opzetten van een volstrekt nieuwe testmethode in het SEO kanaal van Hunkemöller, hebben we bewezen dat het SEO A/B testen niet alleen goed werkt, maar ook nog eens substantiële resultaten oplevert.

Waarom SEO A/B testen?

Zoekmachines zijn voor nagenoeg alle bedrijven en organisaties een belangrijke bron van verkeer. Enerzijds is het verkeer en dus ook het zoekgedrag continu in beweging. Anderzijds hebben alle aanpassingen op de website ook impact. Om op deze bewegingen te kunnen anticiperen is een datagedreven SEO-strategie van belang. Met een datagedreven SEO-strategie kan je er op vertrouwen dat alle veranderingen die worden doorgevoerd ook positieve resultaten opleveren. Voor een organisatie als Hunkemöller is het van essentieel belang de juiste beslissing te nemen vanwege de competitieve markt en het toetreden van andere partijen. Datagedreven SEO zoals later in dit artikel te lezen is, vormt een belangrijke sleutel voor toekomstig zakelijk succes.

De methodiek van datagedreven SEO geeft antwoord op de vraag:

“Wat gaat het ons opleveren?”

Niet alleen in organisch verkeer en zichtbaarheid, maar ook in business metrics als bijvoorbeeld omzet.

Het was tot voor kort moeilijk of eigenlijk onmogelijk om de impact van een specifieke wijziging direct als uplift aan het organisch verkeer toe te wijzen. Met onze methodiek voor SEO A/B testen kunnen we met statistische zekerheid zeggen of de wijziging positieve impact heeft en wat deze wijziging gaat opleveren. Zodat besluiten om wijzigingen site-breed door te voeren eindelijk degelijk onderbouwd zijn. Deze methodiek maakt het mogelijk om op gedetailleerd niveau wijzigingen te testen, om zodoende de perfecte mix te vinden in het bereiken van de doelgroep via het organisch kanaal.

Daarnaast kan met het SEO A/B testen worden voorkomen dat je als organisatie tijd en geld verspilt aan wijzigingen die uiteindelijk geen bijdrage leveren. Of wat het gevolg is van een uitgestelde wijziging.

Hoe werkt SEO A/B testen?

Zoals gezegd. Met een SEO A/B test kun je nagenoeg alle SEO-wijzigingen en optimalisaties valideren voordat deze site-breed doorgevoerd worden.

Als we zeggen nagenoeg elke SEO optimalisatie: denken we bijvoorbeeld aan:

• Het optimaliseren van content elementen zoals: headings
• Het optimaliseren van metadata zoals: paginatitels of meta descriptions
• Het toevoegen van content
• Het toevoegen van structured data
• De impact van client-side gerenderde vs. server side gerenderde content
• De impact van Web Vitals optimalisatie (site speed)

A/B testen voor SEO functioneert anders dan het CXO A/B testen. We presenteren gebruikers weliswaar twee verschillende versies van onze inhoud. Maar bij een SEO A/B test wordt de controlegroep en variant verdeeld binnen een groep pagina’s die gebruik maakt van dezelfde template. Dat is anders dan bij CXO waar één pagina met meerdere varianten (een control en tenminste één variant) wordt getest

SEO A/B testen is pagina georiënteerd in plaats van audience georiënteerd, in
de zin dat we testen op een sectie van de site door de pagina’s te splitsen (voor iedere
bezoeker, inclusief Googlebot) in plaats van het publiek te splitsen.

De pagina’s worden geoptimaliseerd om Google Search gebruikers een beter antwoord te bieden met als doel dat Google deze pagina’s beter weet te waarderen, met een toename van meer kwalitatief verkeer als resultaat.

Binnen de aanpak van OrangeValley maken we gebruik van een voorspellingsmodel (forecasting). Dit stelt ons in staat om de variant en de (gemodelleerde) controle te isoleren en te vergelijken.

Onze aanpak houdt rekening met externe factoren als:

• Seizoensinvloeden
• Google algoritme updates
• SEO-wijzigingen van concurrenten
• Overige externe macrofactoren

Eventuele schommelingen zoals updates van het Google algoritme zullen zowel de controlegroep als de variant in gelijke mate beïnvloeden. We kijken tijdens de analyse niet naar de trend van het verkeer maar we kijken naar het prestatieverschil tussen de gemodelleerde controlegroep en de variant. We kunnen de variant en control niet direct vergelijken vanwege mogelijke verschillen in de variant- en controlegroepen, bijvoorbeeld het aantal pagina’s of het absolute aantal sessies per groep.

In navolgende case laten we zien dat het SEO A/B testen een betrouwbare en accurate wijze is om resultaat te halen bij SEO-wijzigingen.

Case Hunkemoller.nl

De test betreft een wijziging van de paginatitel en is uiteindelijk doorgevoerd op 50% van een geselecteerde groep pagina’s op hunkemoller.nl. Waar de paginatitels voorheen voornamelijk geoptimaliseerd waren op keywordniveau, ligt de focus van de test op de intentie van een Google gebruiker. Om zodoende een beter en passender resultaat terug te geven aan een Google gebruiker.

De test is begin april gestart en is in totaal 54 dagen actief geweest. We hebben gekeken naar de volgende metrics om de test te beoordelen:

• Organische sessies
• Organische kliks (non-branded)
• Organische impressies (non-branded)
• Secundaire metrics
  • Aantal transacties
  • Omzet

Per metric evalueren we een drietal zaken om een beeld te krijgen van de impact van de wijziging:

• Testscore (procentuele wijziging inclusief betrouwbaarheidsinterval)
• Significantiescore (statistische zekerheid, om te weten dat het effect volledig te herleiden is tot de wijziging)
• Dagelijks en cumulatief additioneel verkeer of zichtbaarheid (inclusief betrouwbaarheidsinterval)

Vervolgens maken we een impactprognose om te bepalen wat het oplevert wanneer de optimalisatie wordt doorgevoerd op 100% van de geselecteerde pagina’s.

Voor deze case zoomen we in op het resultaat van de organische non-branded kliks en impressies vanuit de zoekresultaten van Google.

Non-branded organische kliks
Eén van de metrics in de test is het aantal organische kliks dat vanuit zoekmachines afkomstig is door zoekopdrachten zonder de merknaam van Hunkemöller. Het non-branded verkeer binnen SEO is voor de meeste organisaties het belangrijkste onderdeel. Het resultaat bekijken we dus los van zoekopdrachten gerelateerd aan de merknaam.

In de afbeelding hierboven zie je een ontwikkeling/voortgang van de variant (zwarte lijn) ten opzichte van de forecast (blauwe lijnen). De forecast is gebaseerd op historische data die we gebruiken om het verwachte verkeer naar de variant te voorspellen.

Al in de eerste week lopen de lijnen direct uiteen. Dit bevestigt dat het verkeer naar de variant-groep beter presteert dan wat is voorspeld, en toont meteen aan dat de test een succes is. Uiteindelijk zien we op basis van non-branded kliks een uplift in organisch verkeer van maar liefst 30%.

We gebruiken een set van controlepagina’s om het model context te geven aan trends en externe invloeden. Dus als er tijdens onze test iets anders verandert (bijvoorbeeld seizoensinvloeden), dan zal het model dat detecteren en daar rekening mee houden. In de bovenstaande grafiek is sprake van seizoensinvloeden. Het goede weer van mei in Nederland drijft de vraag naar badmode op.

De grafiek hierboven toont het cumulatieve effect van de toename van het verkeer ten opzichte van ons model. Het gearceerde blauwe gebied vertegenwoordigt een betrouwbaarheidsinterval van 95%. Wanneer de curves alle drie onder (negatief) of boven (positief) de y=0 (cumulatief verloop) as presteren is de test statistisch gezien significant.

Op 10 april hadden we 95% zekerheid dat de resultaten niet door toeval werden veroorzaakt. Aan het eind van de test was de significantiescore met een waarde van 99.9% zelfs nog hoger.

Non-branded organische impressies
Naast kliks is het ook relevant om naar non-branded impressies ofwel organische zichtbaarheid als metric te kijken.

Uit het volgen van deze metric blijkt dat het iets langer duurt voordat de lijnen uiteenlopen. Dit heeft er enerzijds mee te maken dat Hunkemöller veel nummer-1 posities heeft op zoekopdrachten met veel impressies. Anderzijds lijkt het positieve effect op kliks en focus op de zoekintentie van een gebruiker zich uit te betalen in betere positionering en bredere zichtbaarheid. Uiteindelijk zien we op basis van non-branded impressies een uplift van 13%.

Na een looptijd van twee weken hadden we ook hier 95% zekerheid dat de resultaten zeer positief en ook significant waren. We hebben de test hierna nog een aanzienlijke tijd actief gehouden om een volledig beeld te hebben van de impact van deze wijziging. Aan het einde van de test was de significantiescore 99.8%.

Resultaat van de test

De wijziging van de paginatitel heeft het verwachte/gewenste effect gerealiseerd, namelijk; een toename in organisch zichtbaarheid en verkeer. Op basis van alle gemeten metrics was deze test positief en significant. De wijziging is op basis van de bevindingen uit deze test doorgevoerd op alle geselecteerde pagina’s op hunkemoller.nl.

Deze case bevestigt dat de paginatitel nog steeds een krachtig SEO-element is. Inspelen op de intentie van een gebruiker met een relevante paginatitel werkt wanneer het aankomt om het beste antwoord aan een gebruiker te presenteren.

De uitkomst van deze test heeft ertoe geleid dat we vervolgens soortgelijke testen hebben opgezet voor andere landen waar Hunkemöller actief is. Uit ervaring weten we dat de uitkomsten van een soortgelijke test per site, branche en land kan verschillen. Daarnaast wordt gewerkt aan een planning om andere relevante SEO-wijzigingen op een datagedreven manier te testen.

Conclusie

Het voorspellen van de impact van een SEO-wijziging was een nagenoeg ondoenlijke zaak. Met de invoering van de SEO A/B test methodiek is een bewezen, significant en betrouwbare oplossing gevonden om wijzigingen met een zekere uitkomst door te voeren, of wellicht uit te stellen. De case van Hunkemöller heeft bewezen dat de uitkomst niet alleen goed te voorspellen was, maar ook nog eens prachtige businessresultaten opleverde. De innovatieve durf van het Hunkemöller team, gecombineerd met onze SEO A/B methodiek heeft een volstrekt nieuwe pad geëffend om hun SEO naar een volgend niveau te brengen.

Ben jij benieuwd hoe je SEO A/B Testing kunt inzetten voor jouw organisatie? OrangeValley heeft de kennis en ervaring om je te ondersteunen bij dit proces. We denken graag met je mee!