In mijn vorige artikel: Learnings bij het testen van een landingspagina gaf ik al aan dat het goed is om vooraf je A/B test in te plannen. Hierbij is het handig om inzicht te hebben in de mogelijke duur van de test. Wanneer iemand aan je vraagt hoe lang de test zal gaan lopen is het vaak lastig om hier een antwoord op te geven. Nu zijn er op het web een aantal handige instrumenten die jou voorzien van informatie over de duur en significantie van je test.
Duur van de test
Met de spreadsheet van VWO (Visual Website Optimizer) kun je uitrekenen hoe lang de test mogelijk gaat duren. Je weet hiermee gelijk hoe lang je A/B test actief zal zijn op de website. Je moet vooraf wel de volgende gegevens paraat hebben:
- Conversie ratio van de control variant
- Wat je verwacht dat de nieuwe variant aan verbetering opbrengt
- Hoeveel variaties je hebt bedacht
- Gemiddelde dagelijkse traffic op de pagina
Werkwijze calculator
Google kent ook een calculator die je kan helpen en werkt op een vergelijkbare manier. Deze vind je hier.
Significantie test
Als de test eenmaal loopt wil je natuurlijk weten hoe de resultaten zijn. Zijn deze betrouwbaar genoeg om de winnende variant te implementeren.
Hiervoor is een handige spreadsheet van VWO om te gaan gebruiken. Je geeft hierin de resultaten van de test weer en deze rekent voor jou uit of de resultaten significant zijn. Deze kun je gebruiken mocht de test-tool die jij gebruikt zelf geen toets uitvoeren.
Veel plezier bij het plannen en het uitvoeren van jouw A/B testen.
Data Driven Online Marketeer
Webhelder
Ik ben eigenaar van Webhelder. Een bedrijf met als specialisme Data Driven Online Marketing. Wij gebruiken onze analytische en marketing kennis om bedrijven fact based te laten werken. Het uiteindelijke doel is het sneller nemen van betere...
Lees verder »Nieuwsbrief
Voortdurend op de hoogte van het laatste analytics en optimalisaties nieuws met onze nieuwsbrief!
Gebruik je al SmarterStats?
Deze Web Analytics software wordt in Nederland onder andere gebruikt door
Lees meer over SmarterStatsAangeboden door AboutAnalyticsNieuwste reacties
- Alouette Edens: Bij de instellingen van AdWords staat: Bevat meervoudsvormen, spelfouten en andere sterk lijkende varianten Maar ik...
- Alouette Edens: Ik heb nog geen resultaten jammer genoeg. Medio mei zou deze aanpassing doorgevoerd worden. Ik heb net nog gekeken maar...
- André Scholten: En nog een tip: https://developers.google.com/analytics/community/gajs_changelog ...
- Erwin: Bedankt voor je uiteenzetting. Ik heb echter begrepen dat de nieuwe Exact match vooral misspellingen (vacantie/vakantie)...
6 reacties
Ik gebruik zelf vaak deze calculator, uitgelegd in deze post. Daar hoef je niet de verwachte verbetering in te vullen, dat is vaak de moeilijkste om in te vullen. In de tabel kun je dan eenvoudig zien hoeveel tijd het ongeveer gaat kosten.
Dank je Andre inderdaad heel handig.
Het bepalen van de doorlooptijd is een per test terugkerend item. Bij weinig bezoek en geringe verbetering is de ’14 + 1 regel’ vaak niet voldoende. Wanneer deze twee calculators echter met ‘gelijke ’ aantallen worden gevoed volgt een redelijk uiteenlopend resultaat.
bijv: bij 500 (visits = pageviews?) 20% conversie en 10% uplift, met 95% significantie (aanname GWO) is de doorlooptijd: GWO = 10 en VWO = 42 dagen. De onderliggende modellen zijn dus blijkbaar totaal anders opgebouwd.
SiteSpect geeft met de ingebouwde calculator overigens een doorlooptijd van 45 dagen aan. Dus graag meer bezoek! Zeker bij MVT;)
Noot: De significantietool bevat een fout met betrekking tot de betrouwbaarheids intervallen.
Bij 95% hoort de factor 1,96.
Bij 99% hoort de factor 2,58.
Nu staan respectievelijk de intervallen voor 90% en 95% erop.
Heeft verder geen invloed op de resultaten in de gele vlakken, maar toch…
@Frank klopt inderdaad wellicht is het onderscheidingsvermogen (Engels:power) bij Google een stuk lager. Wanneer de gegevens werkelijkheid zouden zijn in ik voer ze in de significantie tool kom ik ook uit op 10 dagen.
@Menno dank hiervoor ik heb het doorgegeven.
Ter info: ik heb de significantie tool geupdated waardoor de 90% en 95% betrouwbaarheid berekening nu klopt in het gelinkte bestand. @menno dank voor de scherpte!