AB testing tool

Waarom je Google Optimize reports niet kan vertrouwen

Waarom je afgeronde experimenten niet in de standaard Google rapporten analyseert

Nu de gratis A/B testing tool Google Optimize voor iedereen beschikbaar is zal er hopelijk nog meer getest en geleerd worden. Er is al veel geschreven over de nieuwe tool, maar de meeste reviews en artikelen gaan voornamelijk in op de werking van de tool in vergelijking met andere A/B testing tools. Een van de veelgenoemde voordelen van Google Optimize is de feilloze verbinding met Google Analytics. Om dit te testen ga ik in dit artikel in op de analyse van A/B testen.

logo Google Analytics vs Optimize

Er zijn twee standaard rapporten waarin afgeronde testen geanalyseerd kunnen worden: het Google Optimize rapport en het Google Analytics Experiment rapport. Een voordeel van het Google Optimize rapport is dat het de Bayesiaanse kans op een winnaar aangeeft. Het Analytics Experimenten rapport biedt daarentegen de mogelijkheid om één segment te selecteren zodat je dieper in de resultaten kunt duiken. Maar beide rapporten zijn erg summier en bevatten alleen het broodnodige: de totaal sessies en de hoeveelheid behaalde doelen per variant. Er wordt bijvoorbeeld niet gekeken naar de impact van een test op de gemiddelde tijd of het uitstappercentage op een pagina. Maar de twee voornaamste problemen zijn de verschillen tussen de experiment sessies van Google Optimize en Analytics en de manier waarop experiment sessies worden gebruikt.

logo Google Optimize

Het verschil tussen Google Optimize en Analytics

Voordat ik dieper in het verschil tussen Google Optimize en Analytics duik ben ik geïnteresseerd in de definitie van een ‘experiment sessie’ zoals deze geformuleerd wordt door Google Optimize en Google Analytics. Deze lijken op papier hetzelfde, maar in de praktijk is er wel degelijk een verschil: de aantallen zijn gemiddeld 1% tot 2% hoger in Google Analytics. Bij testen die minder dan een week hebben gelopen lijkt dit verschil veel groter en zie je in Google Analytics zelfs tot 6%(!) extra bezoekers en transacties*. Dit kan grote gevolgen hebben. Je kunt bijvoorbeeld een winnende variatie afkeuren doordat je de verkeerde analysemethode gebruikt.

*Voor de bovenstaande data heb ik naar de resultaten van 27 uiteenlopende testen gekeken in Google Optimize en Google Analytics.

Google geeft zelf een aantal redenen voor het verschil tussen de twee tools:

  • In Analytics worden de daadwerkelijke conversie percentages gerapporteerd, terwijl er in Optimize-rapporten gebruik wordt gemaakt van gemodelleerde conversiepercentages.
  • De rapportvertragingen tussen de twee producten verschillen (Analytics is sneller dan Optimize).
  • De sessies die net voor het einde van een experiment worden verzameld, worden niet doorgestuurd naar Optimize, maar worden wel weergegeven in Analytics.

De laatste reden verklaart ook het grotere verschil bij testen die maar een aantal dagen hebben gelopen. Dit alles lijkt mij voldoende bewijs om je testen niet in Google Optimize te analyseren maar in Google Analytics. Helaas mis je dan wel de Bayesiaanse kans op een winnaar die in de tool verwerkt is, maar gelukkig zijn er genoeg Bayesiaanse calculators beschikbaar (bijvoorbeeld AB testguide).

logo Google Analytics

Het gebruik van experiment sessies

Naast het niet overeenkomen van de Google Optimize en Analytics data analyseer ik vrijwel altijd gebruikers in plaats van sessies/experiment sessies. Bij een op sessie gebaseerde analyse ligt de focus op de korte termijn, maar veel producten hebben een aankoopproces van meerdere sessies die je misloopt als je op basis van sessies analyseert. Ook brengt een ‘op sessie gebaseerde analyse’ statistische problemen met zich mee omdat het conversiepercentage dan een stuk lager is, deze blog van Hubert Wassner gaat hier dieper op in. Daarnaast is Bayesiaanse statistiek gebaseerd op twee waardes: 0 en 1 oftewel, wel of niet gekocht. Als je sessies meet betekent dit dat een bezoeker meerdere keren iets kan kopen. Maar je wilt alleen kijken of een bezoeker converteert, los van hoe vaak er iets gekocht wordt.

De juiste manier om Google Optimize testen te analyseren

Op basis van de bovenstaande bevindingen heb ik kort samengevat wat de beste manier is om met Google Optimize je experimenten te analyseren:

1. Ten eerste raad ik aan al je testen in Google Analytics te analyseren omdat hier meer data sneller in wordt gerapporteerd.

2. Daarnaast kun je het beste werken met een aangepast rapport met als dimensie: experiment naam en variant, als metric gebruikers en andere interessante metrics zoals transacties, tijd op pagina of uitstappercentage. Een aangepast rapport geeft je ook de mogelijkheid om gemakkelijk te segmenteren door een secundaire dimensie en segmenten toe te voegen. Hieronder een voorbeeld van het aangepaste Google Analytics rapport dat ik gebruik bij het analyseren van de Google Optimize testen (hierbij is 0 de control en 1 de variant).

Google Optimize Reports

 

3. Gebruikers analyseren die iets hebben gedaan. Als je gebruik maakt van een frequentistische of Bayesiaanse calculatie om een winnaar te bepalen moet je gebruikers analyseren die iets wel of niet hebben gedaan. Dus dan kun je als conversiedoel geen transacties (of een andere metric) gebruiken, maar moet je gebruikers met een transactie (of een ander doel) analyseren. Om deze data tevoorschijn te toveren moet je een reeks segmenten aanmaken waarbij de bezoeker een actie uitvoert.

Het doel van de voorbeeldtest is om het aantal transacties te verhogen vanaf de testpagina. Het segment ziet er dan al volgt uit:

Google Optimize Reports

Als je de gebruikers zonder transactie en de gebruikers met een transactie per variant in een Bayesiaanse calculator invoert dan heeft de B variant vanaf de testpagina een kans van 80,5% op een hoger conversiepercentage dan het origineel. Afhankelijk van hoeveel risico je wilt nemen kun je er dan voor kiezen om de variant te implementeren. Daarnaast zien we dat de test waarschijnlijk weinig invloed heeft gehad op het gedrag van de bezoeker omdat de gemiddelde tijd op de pagina en het bouncepercentage ongeveer hetzelfde is gebleven.

Google Optimize Reports

Reacties (2) Schrijf een reactie

  1. Dank voor je kennisdeling. Ik wist niet dat je aangepaste rapporten kunt gebruiken i.c.m. Google Optimize dimensies.

    Vraag over je aangepaste rapport: waarom gebruik je sessie en gedrag statistieken in één rapport?

    Lijkt mij niet erg handig/praktisch. Daarnaast zijn statistieken zoals gem.tijd op pagina en uitstappercentage weinig actiegericht. Kun je niet beter je KPI’s gebruiken gericht op je eindresultaten! (macro – en micro doelen)

    Beantwoord

  2. Ja dat klopt het is niet heel handig maar als je als secundaire dimensie pagina(groep) gebruikt dan is het wel bruikbaar. Omdat de aanpassing vaak op één pagina is wil ik zien of daar een verschil is tussen het origineel en de variant.

    Het is een goed idee om doelen toe te voegen aan het aangepaste rapport. Helaas kun je maar 10 metrics in een aangepast rapport gebruiken en ik vind de huidige metrics het fijnst werken. Van te voren bepalen we welk doel (micro/macro conversie) we willen beïnvloeden en daar maak ik dan segmenten (test pagina -> doel) van om te gebruiken tijdens de analyse.

    Beantwoord

Geef een reactie

Verplichte velden zijn gemarkeerd met een *.