A/B-testen wordt steeds populairder, en dat is niet voor niets. Als een kleine aanpassing op je website voor 25% meer inschrijvingen kan zorgen, waarom zou je het dan niet proberen? Maar zelfs met alle technologie die A/B-test tools tegenwoordig bieden zijn er een paar dingen waar je voor op moet passen.

Een van die dingen die nog wel eens over het hoofd wordt gezien is het toeschrijven van doelen die de korte-termijn effecten meten, maar geen rekening houden met de gevolgen op de lange termijn. Het team van KISSmetrics heeft deze fout bijna gemaakt bij een test die zij voor Segment.io deden, en zij vertellen in dit artikel hun verhaal.

De winnende variant is verkeerd

Het doel van een A/B-test is meestal om mensen een enkele actie op een enkele pagina te laten doen. Veel voorkomende acties zijn bijvoorbeeld het klikken op de inschrijfknop voor de nieuwsbrief. De effecten van dit soort acties staan leuk op je rapport, maar het feit is dat ‘meer bezoeken aan je inschrijfpagina’ of ‘een grote e-mail lijst’ niet direct business doelstellingen zijn.

Het probleem met deze single-action aanpak is dat het er van uit gaat dat een enkele actie waarde toevoegt aan jouw bedrijf, welke het meestal niet doet. De meeste A/B-tests worden bovenaan een acquisitie funnel geplaatst, lang voordat bezoekers hun waarde hebben bewezen.

Het doel van een A/B-test zou moeten zijn om de bezoekers aan te sporen die het meest waarschijnlijk veel waarde toevoegen, van het begin tot het eind van je funnel.

Hoe dit verkeerd is gegaan

Een super simpel experiment dat bij deze getest is, laat goed zien wat er fout ging. Er werd een A/B-test gedaan op een mooie nieuwe homepage. De test was simpel: er werden twee variaties van de tekst op de inschrijfknop gemaakt. De controle versie las “Get started” en de variatie die getest werd las “Create Free Account.”

Al snel leek “Create Free Account” de winnaar, met 21% meer conversies dan “Get Started”. Tijd om de ontwikkelaars te bellen en de verandering permanent door te voeren, toch? Voor de meeste mensen zou dit de volgende stap zijn. Maar, als analytics bedrijf met een overvloed aan nerds, besloot men toch dieper in de data te gaan zoeken.

Om de analyse makkelijker te maken werd elke geteste bezoeker getagt met de variatie die ze te zien kregen zodat we elke variatie in al onze tools terug zagen komen.

Hoe de echte winnaar gevonden werd

Ten eerste werd er gekeken naar wat de eerstvolgende stap was nadat bezoekers op de call-to-action klikten. Toen bleek dat de bezoekers die op “Create Free Account” klikten minder snel geneigd waren om ook daadwerkelijk het formulier in te vullen. Deze afname in inschrijvingen zorgde dat die 21% extra kliks van de A/B-test geheel teniet gedaan werden. Het gevolg was dat er uiteindelijk geen duidelijke winnaar was tussen “Create Free Account” en “Get Started”.

Maar er was nog iets om te onderzoeken: de waarde van de dienst waarvoor uiteindelijk gekozen werd. Het bleek dat de bezoekers die op “Create Free Account” klikten en zich wel inschreven, veel minder geneigd waren om in te schrijven voor een betaalde dienst. Degenen die op “Get Started” waren veel meer geneigd om zich in te schrijven voor een betaalde account.

Uiteindelijk was de echte winnaar voor de business dus “Get Started”.

Hoe je dit in je eigen business kan voorkomen

Bekijk al je resultaten! Wees vooral voorzichtig als je maar een enkele klik of actie probeert te optimaliseren. Onthoud, een enkele klik voegt meestal niet direct waarde aan je bedrijf toe. De lange-termijn winst is altijd meer belangrijk dan korte-termijn conversie cijfers.

Baseer je keuze voor een A/B-test niet op basis van een toename aan kliks, opt-ins of inschrijvingen. Tag bezoekers met de A/B-test versie die zij zagen en kijk uit voor ongewilde consequenties van de tests. Een opt-in die de volledige pagina beslaat leidt wellicht tot een grotere e-mail lijst, maar wat nu als het de waarde van je gebruikers doet dalen?

Een checklist om de echte winnaar in je A/B-tests te vinden

• Sla de test-variaties in je tool op in het profiel van je bezoekers.
• Bekijk het effect van elke testvariatie van het begin tot het eind van de acquisitiefunnel.
• Kijk voor ongewilde consequenties van tests, zoals een slechte user engagement of lagere referral rates.
• Bekijk na een paar maanden nog eens de lifetime value van de gebruikers van elke variatie.