AB & MV testen: voorkom deze 2 veelgemaakte fouten!

StopDeze week zat ik aan tafel met een aantal collega webanalisten en daar werd besproken hoe eenvoudig het was om fouten te maken bij het uitvoeren van een AB test. Fouten die zorgen voor verkeerde interpretatie van gegevens en daardoor verspilling van geld en goede mogelijkheden…

Als voorbeeld werd onder andere genoemd dit artikel van een jaar geleden: onjuiste aanname bij gebruik Google Website Optimzer. Ik vertelde tijdens de bespreking 2 werkmethoden die ik binnen testen altijd aanhoud en die bleek voor een aantal mensen niet bekend te zijn. Ik deel ze graag met jullie:

Maak ook altijd een extra originele variant aan

Bij een test is er altijd een “default” versie. De originele variant waarvoor je voor (een segment van) bezoekers een beter werkende versie probeert te maken. Ongeacht de tool die ik gebruik maak ik altijd een controle variant aan (versie A). Elke tool heeft wel zijn of haar eigen “kuren” en ik wil zeker weten dat ik mijn nieuwe varianten (B, C, D etc.) toets tegen een stabiel gegeven. Wat vaak meespeelt is dat het bezoek dat de originele variant krijgt te zien, dit kan krijgen omdat het niet lukt om deze bezoeker een andere variant te geven, waardoor deze originele variant een afwijkende groep bezoekers ontvangt. Ander belangrijk punt is dat een redirect naar een variant (en een refresh van een element) een wijziging in de user experience is, waardoor het niet juist is om te testen tegen een variant waar dit niet gebeurd. De extra aangemaakte kopie van het orgineel geeft wel dezelfde user experience als de echte te testen variaties.

Zie hier de resultaten in Google Analytics van een test met Website Optimzer waarbij duidelijk te zien is dat het origineel veel meer bezoekers heeft gekregen dan de kopie test versie (die wel evenveel bezoekers ontving als de overige varianten):

Voorbeeld cijfers AB testen

Na afloop van de test (2 weken doorlooptijd, minimaal 150 directe conversies per testvariant houd ik altijd al leidraad aan) ga ik zelf met Excel aan de slag om de varianten statistisch te toesten tegen die A variant (en niet tegen de default variant).

Beoordeel je test niet op 1 conversiepunt

Veel test tools bieden statistieken aan. Zij beoordelen je test op basis van het conversiepunt dat je zelf hebt opgegeven en laten dan niet zien wat alle andere effecten op de betreffende bezoekers zijn. Vaak kun je ook maar 1 conversiepunt opgeven of wordt er niet de moeite genomen om meerdere conversiepunten aan te maken (en daar vooraf goed over na te denken).

Zoals je al in de tabel hierboven ziet koppel ik een test altijd aan het webanalytics pakket. Ik zorg dat ik bezoekers van een bepaalde variant kan oproepen als segment en ga op basis daarvan alle variaties verglijken. Een stijging van conversie op product A door test variant B kan immers hebben geleid tot een daling van conversie op product C… Daarbij zijn veel testen niet dicht genoeg aan het einde van de conversiefunnel waardoor het veel belangijker is om te bepalen wat bijvoorbeeld de stijging in engagement is. Hiervoor heb je veel soorten webanalytics data nodig (tijdsduur, micro conversie, terugkeer etc.).

Bekijk dus goed alle data voordat je een oordeel velt. Een eindrapport van een test zonder eigen rekenwerk moet zonder meer altijd kritisch worden bekeken!

Reacties (5)

  1. En wat denk je van het bekijken van de effecten van de testpagina’s op de diverse bronnen. Zo zien wij vaak dat betaald en onbetaald verkeer heel anders reageren. Als resultaat kun je dan ook vaak een andere LP inrichten voor je AdWords campagnes dan de pagina waar je SEO verkeer op komt.

    Leuk idee om je origineel ook als variant mee te nemen. Dit hebben we tot nu toe nog niet gedaan en lijkt me zeker een goede aanvulling voor de volgende tests.

  2. @andre dank voor je reactie. Je geeft een goed punt aan en ook de reden waarom ik al eerder schreef dat testen zonder segmentatie redelijke onzin is (poldermodel A vervangen voor poldermodel B. Leuk om usability issues weg te halen, maar dat is ‘t). Zelf test ik zoveel mogelijk al uberhaupt voor 1 segment bezoekers (overeenkomend doel / overeenkomend gedrag).

    Je raad ook meteen 1 van mijn volgende berichten: met statistieken aantonen dat segmenten binnen een variant zich significant anders gedragen 🙂

  3. Mwah Ton, als poldermodel A in totaal beter converteert dan poldermodel B, zelfs met maar 1 conversiepunt, weet ik wel welke ik wil gebruiken. Op dit moment testen we alleen nog zo op Eduhub en dat heeft ons zat opgeleverd.

    Dat is niet optimaal, maar optimaal is ook niet nodig om geld te verdienen en dus ook niet om een goede A/B of MV test te runnen.

  4. @rubzie goed je hier eens virtueel te treffen! Poldermodel A beter dan B met 1 conversiepunt… Ben ik het niet mee eens, maar dat verschilt natuurlijk per website (als er maar 1 hoofdconversie is…). Je kunt daar ecgter de plank flink mee misslaan.

    Natuurlijk is het zonder meer toe te juichen als er op een website wordt getest, zeker wanneer dit stelselmatig gebeurd zoals jij waarschijnlijk doet. Dat levert je vanzelf meer en meer op (meet je ook, zover mogelijk, geisoloeerde, resultaten over langere termijn? Dus niet alleen wat de test zegt dat het je op zou leveren?) Bij die poldermodellen heb je nog wel eens het probleem dat versie B nu wint van A omdat versie B net een iets groter segment beinvloed dan een ander segment negatief (en bij A andersom). Dat gedrag kan echter tijdelijk zijn omdat het wordt veroorzaakt door verschillende beinvloeders… Hoe meer je segmenteert, hoe minder last je er van hebt.

    Maar nogmaals, ook wij starten bij nieuwe klanten eerst met de massale poldermodeltesten (en dan met name om de usability op orde te krijgen en de thema inhoud van onze pagina’s te laten aanlsuiten bij het doel van de bezoekers. We zorgen echter wel dat we de resultaten ook analyseren op segment niveau op geen waardevolle informatie te laten voorbij gaan. Met tools zoals BT buckets kun je immers je content ook steeds eenvoudiger gesegmenteerd aanbieden (als je al geen aparte funnels voor bezoeksegmenten maakt).

    Beter wel testen dan niet testen, maar let wel op wat je doet.

  5. True, true… Eduhub heeft gelukkig (nou ja, dat is dus een heel bewuste keuze) maar 1 echt belangrijke conversie: brochure aanvragen. En ook gelukkig (nou ja…) maar 1 echt grote bron van traffic: organic Google.

    Dat maakt het mogelijk om onze business te runnen en snel te groeien en te optimaliseren. Verder eens met je nuanceringen 🙂

Reacties zijn gesloten.