3 eenvoudige redenen waarom jouw A/B-test vaak niets oplevert

Conversie optimalisatie is geen A/B-testen, maar A/B-testen is wel een heel belangrijk onderdeel van conversie optimalisatie. Als je echter steeds maar weer geen winnende variaties uit de testen haalt… dan verdwijnt op een gegeven moment A/B-testen uit het zicht. Waarom immers verder gaan als het niets oplevert?

Maar waarom levert het niets op? Iedereen roept toch altijd dat minimaal 1 op de 3 testen leidt tot een significant positief resultaat?

Reden 1: Impact

Je kunt met kleine wijzigingen op een webpagina een hele grote impact maken! Het gebeurt echter niet zo heel vaak… Heel weinig zelfs… De realiteit is dat de impact vaak te klein is om statistisch zichtbaar te zijn. Vooral als je kleine wijzigingen maakt.abtest geen impact

Grotere wijzigingen leveren veel vaker grotere uitslagen op. Deze grote uitslagen zijn echter alleen maar positief als ze gebaseerd zijn op gedragsdata, gedragskennis en gebruikerskennnis!

Bepaal met data waar je impact kunt maken, begrijp wat de gebruikerstaak is en weet welke psychologische principes je kunt gebruiken voor een beter ontwerp.

te weinig bezoekReden 2: Bezoek

Je hebt simpelweg te weinig bezoekers en te weinig conversies. Stel, jouw conversie is nu 10% (vanaf de pagina waar je test). Om een 80% kans te hebben om een verschil van 5% meer conversie aan te tonen met 95% zekerheid: heb je iets meer dan 90.000 bezoekers nodig in de testperiode! Dit zijn dus ook ruim 9.000 conversies… En dat is bij een A/B-test, laat staan als je meer variaties tegelijk test.

Je testperiode is echter ook nog gelimiteerd tot, laten we zeggen, maximaal 4 weken. Doordat cookies worden verwijderd zullen je testpopulaties elke dag verder vervuilen, waardoor de resultaten op een gegeven moment niet meer verschillen. In praktijk is enkele honderden conversies per week het minimale om op een goede manier regelmatig A/B-testen uit te voeren.

Reden 3: Techniek

webcodeA/B-testen is door alle nieuwe software steeds eenvoudiger geworden. Je kunt heel eenvoudig een headline aanpassen, een foto vervangen, maar zodra je verder gaat… dan gaat het vaak mis. Bij verschuivingen in je template of het toevoegen van nieuwe elementen in een variant wil het niet altijd even goed werken, laat staan in elke browser.

Wat daarbij ook vergeten wordt is dat de testvariant extra code moet inladen en daardoor trager is voor de bezoeker. Hoe sneller je website, hoe meer conversie. De originele pagina is dus in het voordeel. Zorg er dan ook voor dat je dezelfde code ook in je originele pagina zet, zonder dat deze natuurlijk voor de gebruiker visueel zichtbaar is!

Reacties (10)

    • ton.wesseling@onlinedialogue.com'

      @jurre – dank voor je tip – maar ik zeg vooral: niet gebruiken! Of in ieder geval niet gebruiken zonder dat je weet wat deze tools doen!

      Het nadeel van deze VWO tools is dat ze alleen van significantie uit gaan. Significantie zegt niets over de kans om een winnaar te herkennen.

      Door de VWO tools testen veel mensen met te weinig data, waardoor winnaars vaak niet worden gezien – helemaal als je weinig impact maakt.

      Met collega’s bij Online Dialogue hebben we een uitgebreide calculator hier staan: http://abtestguide.com/calc – laat maar horen als je daar vragen over hebt

      • jurrekr@gmail.com'

        @Ton Maar geldt dat niet voor iedere tool?

        Ik neem aan dat als je de moeite neemt om te testen of een test significant beter presteert, je weet wat significant betekent. Maar misschien is dat een verkeerde aanname.

        Het testen met te weinig data is inderdaad een probleem, maar daarom moet je mijns inziens eerst de Duration calculator gebruiken (of de variant van Glimmer die jullie aanbevelen.) En daarna pas je significantie uitrekenen.

        Wel mooi gevisualiseerd met eenzijdige en tweezijdige betrouwbaarheidsintervallen en die verschuivende normaalverdelingen! Ik denk dat het beide nuttige hulpmiddelen zijn, maar zul je net als met meerdere dingen goed moeten weten wat je aan het doen bent!

  1. robert@deconversiecheck.nl'

    Heb de laatste tijd veel van Ton gelezen dat A/B testen maar vaak niet goed worden geïnterpreteerd of worden opgezet en uitgevoerd.
    Vooral de grootte van de test is maar bereikbaar voor heel grote bedrijven.

    Voor al die kleinere webshops en ondernemers, die met conversie optimalisatie bezig willen, vraag ik me af wat ze wel kunnen doen.

    • ton.wesseling@testing.agency'

      Hi Robert,

      Goede en terechte vraag, dank. A/B-testen als conversie tool op je website zet je in mijn ogen pas in als je een winnend concept te pakken hebt, een concept dat werkt en waar bezoekers (en conversies) op af / uit komen. Vanaf dat moment ga je data gedreven aan de gang en gebruik je enerzijds testen om te leren waar kansen liggen, welke communicatie het verschil maakt en automatiseer je anderzijds op basis van targeting / bandit algoritmes alle detail zaken die ook effect kunnen hebben (button soorten per tijdsmoment / bezoekcyclus, persuasive messaging etc.).

      Heb je nog niet het winnende concept te pakken, dan ben je nog bezig met growth hacking, ben je nog die lean startup. Dan zijn er hele andere methoden om te begrijpen wat bezoekers willen. Probeer wat je aanbiedt een zelf te slijten op straat, op een markt – gebruik bestaande onderzoeken om psychologische principes door te voeren, gebruik neuro onderzoek, feedbacktechnieken – alles dat richting geeft. A/B-testen heb je nog niet genoeg bezoek voor – je kunt het wel inzetten om te toesten wat je uit ander onderzoek haalde, maar dat doe je door communicatie / proposities te testen via kanalen als adwords en facebook ads. Test daar uitingen tegen elkaar en leer wat klikt en interactie geeft op je landingspagina.

      Ik merk echter ook vaak dat beginnende websites vooral ook te maken hebben met enerzijds usability bottle necks en anderzijds de verkeerde focus qua propositie. Een simpele expert review door een ervaren expert kan je al een heel eind op weg halen met valkuilen voorkomen waar anderen al zijn ingestapt. Usertesting tools voor feedback geven ook fijne inzichten, net zoals userfeedback forceren op pagina’s waar men volgens de data afhaakt.

      • robert@deconversiecheck.nl'

        Dag Ton,

        Bedankt nog voor je reactie en waardevolle tips. Het bevestigt mijn idee dat veel (vooral kleinere) bedrijven beter af zijn met een expert review (lees: gebruik je boerenverstand icm conversie kennis). En dat is precies wat ik ga doen 😉

        Fijn dat jullie via dit platform kennis delen!

  2. tanja.strump@gmail.com'

    Even een vraag over de berekening bij stap 2:
    Hoe kom je uiteindelijk bij de benodigde 90.000 bezoekers? Want je geeft niet aan hoeveel bezoekers op je controle pagina komen, alleen dat het 10% conversieratio is.

Reacties zijn gesloten.