Ik wil een multi page A/B test voor funneloptimalisatie

wkHet WK zit erop. Het is volop zomer. Er gebeurt niks meer omdat iedereen op vakantie is en wij gaan het hebben over A/B testing in combinatie met funnels. Ik zit namelijk met een probleem, waarvoor ik zelf nog niet de oplossing heb gevonden en waar ik graag jullie reacties / antwoorden op hoor. Volgens mij heb ik het ‘probleem’ al eens eerder in een ander artikel beschreven, maar ik ga er nu een apart artikel aan wijden zodat we er dieper op in kunnen gaan.

Funnels en conversiepaden hebben een eigen verhaal

Ongeveer een week geleden zat ik samen met mijn collega, webanalist, Jelle Plijnaar, enkele testresultaten en testopzetten door te nemen. Jelle vertelde me dat hij graag volledige funnels in kaart zou willen brengen: paden op de website die leiden tot conversie. Zo heb je bijvoorbeeld conversiepaden vanaf productpagina’s, informatiepagina’s of landingspagina’s of, een rand daarbuiten, vanuit Adwords en banners, lees; externe websites / pagina’s. Waarom wil je deze in kaart brengen?

“Omdat elke pagina, elk conversiepad, eigen conversiepercentages heeft en soms ook een eigen boodschap heeft. Hierdoor zijn het op zichzelf staande conversiepaden (verhalen) die je ook als zodanig wilt optimaliseren.”

Goed verhaal.

Conversiepaden vragen niet om een simpele A/B test

Deze conversiepaden zijn in weze allemaal losstaande paden die de bezoeker bewandelt tot hij of zij uiteindelijk converteert (of afhaakt). Veel van de pagina’s op de website zijn onderdeel van één of meerdere conversiepaden.

Een A/B test of multi variatie test is vaak gebaseerd op één pagina. Je maakt verschillende versies, of verschillende versies van bepaalde elementen en uiteindelijk weet je wat het best werkt voor die ene pagina voor een bepaald doel. Zoals eerder opgemerkt is een pagina vaak onderdeel van meerdere conversiepaden. Hierdoor kan het zo zijn dat de uitkomsten voor de pagina niet overeenkomen met de uitkomsten die je krijgt wanneer je enkel kijkt naar één conversiepad kijkt.

A/B test voor een conversiepad (in de breedte)

Nu kan je dit afvangen door segmenten mee te geven aan de pagina’s waardoor je kunt zien welk pad iemand bewandelde toen hij meedeed aan de test. Deze segmenten kan je opslaan, net als de testresultaten, en vervolgens de resultaten op basis van segmenten analyseren. Je kunt dan zien welke conversiepaden in combinatie met die versie van de pagina het best werken. Maar dit heeft als nadeel dat je tijdens de test geen rekening hield met het pad dat de bezoeker bewandelde. Een idee om dit op te vangen: maak een aparte A/B test aan die alleen actief wordt wanneer iemand het bijbehorende conversiepad bewandelt.

A/B test voor een conversiepad (in de diepte)

Vaak wil je ook meerdere pagina’s in één conversiepad testen, waardoor je bijvoorbeeld een actieboodschap door de het hele pad heen kunt laten terugkomen op alle pagina’s. Sterker nog: eigenlijk wil je een A/B test uitsmeren over meerdere pagina’s in het conversiepad zodat je weet welke pagina’s het best converterende pad met elkaar vormen.

Multi Page AB Test

In bovenstaande afbeelding heb ik het geprobeerd te tekenen (in MockFlow overigens).

Het idee is dat je bezoekers segmenteert (labelt) aan de hand van de pagina’s die ze bezoeken (conversiepad). Sommige zijn niet te labellen en draaien mee in de reguliere A/B test. Bezoekers waarvan je weet in welk conversiepad ze zitten draaien mee in een aparte A/B test voor dat pad. Hierdoor leer je meer over gedrag over pagina’s heen en kan je uitingen (bijvoorbeeld kortingen voor bepaalde groepen) enkel laten terugkeren wanneer bezoekers deze ook daadwerkelijk eerder gezien hebben in het pad.

De tweede rij A/B testen in de afbeelding laten de mogelijkheid zien om twee pagina’s in één pad te optimaliseren, waarbij de gegevens van de twee gecombineerd kunnen worden, waardoor je uiteindelijk weet welke pagina’s in combinatie met elkaar het beste werken in een conversiepad.

Nu is alleen de vraag: hoe doe ik dit? Wij gebruiken Google Website Optimizer, hier zit deze optie volgens mij niet in 🙂

Ik denk eraan om zelf iets te laten ontwikkelen om dit mogelijk te maken. Wie heeft al eens een soortgelijke test opgezet? En wil de opzet en resultaten delen?

Reacties (14)

  1. Het is een heel verhaal, maar waar het eigenlijk gewoon op neerkomt is: het herkennen van bezoekers (segmenteren) en die in een aparte A/B test laten vallen en het koppelen van meerdere A/B testen op basis van dat segment. Ofzo.

  2. Wat track je precies met Analytics? Je kunt via de Analytics API aan de hand daarvan mooie rapporten genereren – deze is erg toegankelijk. Of begrijp ik je verkeerd?

  3. Ik snap ook niet precies wat jij bedoelt 😀 maar ik vermoed dat je bedoelt dat je met de analytics api de data kunt ontsluiten waar ik om vraag. Dat klopt op zich wel, maar deze data wordt niet gebruikt binnen a/b tests. Dus dat is analyse achteraf, waarbij ik de data graag wil gebruiken om te sturen binnen een test (die kan bestaan uit meerdere a/b tests).

  4. Hm. Ik weet niet hoe jij je pagina’s genereert – als je een vorm van flow control wilt genereren lijkt het me dat je in je backend op bepaalde parameters wilt gaan reageren, bijv bepaalde crafted urls, of session variabelen. Maar ik ken je systeem niet 🙂

  5. Dan kun je in navolging daarvan ook speciale tracking in je analytics kan meegeven, zodat je het in je reports ook kan volgen. Wat draaien jullie daar? Of is dat classified? 😉

  6. Interessant, Ik doe dit met onze gratis tool: http://www.reedge.com. Ik zal kort uitleggen hoe dat in zijn werk gaat.

    – Je maakt voor iedere doelpagina een segment
    – Je zet 2 testen op A/B or als het kleine aanpassingen zijn dan kun je kiezen uit onze multivariate test en dan hoef je geen extra pagina in je CMS te zetten maar pakken wij die op vanuit ons systeem. ALs doel van deze testen neem je de eerder gemaakte segmenten
    – Je maakt vervolgens segmenten (funnels) die aangeven waar een gebruiker in zit (of doorheen is geweest).

    Als je het wil proberen, meldt je aan. Daarna help ik ze met het opzetten van deze funnel.

  7. En kan de software ook aangeven of in bepaalde gevallen (segmenten) een korte dan wel lange funnel tot betere resultaten leidt?

  8. Wat is het resultaat? De kwaliteit van de lead (ofwel offline) or omzet (offline) or hogere aankoopomzet via webwinkel (online). In alle gevallen kunnen we dat niet meten… dat hebben we er nog niet inzitten.

    Mocht je andere resultaten bedoelen, laat het me weten, mogelijk kan de software het wel.

  9. Kijk eens bij kissmetrics.com (van de makers van crazyegg) volgens mij doen zij dat gene wat jij zoekt

  10. @Jan, dank voor de tip, heb even zitten kijken en dat kan inderdaad meer inzicht geven. Ik ga het proberen!

    @Dennis, dank ook voor de tip. Ik kon niet zien of Reedge te gebruiken is, moet er nog even beter naar kijken.

  11. Een vraag naar mijn hart. Al veel eerder schreef ik over het feit dat testen zonder segmentatie onzinnig is wanneer je niet puur usability issues aan het oplossen bent, maar echt het gesprek met je bezoekers wilt verbeteren. Niet alleen maar in de analyse achteraf, maar juist ook bij het ontwerp en de uitvoer van een test.

    Wat je zoekt is een pakket dat bezoekers toelaat tot een AB test op basis van het gedrag dat zij vertonen. Met een pakket zoals Test en Target van Omniture kun je bijvoorbeeld instellen dat een bepaalde test alleen geactiveerd wordt wanneer iemand eerder een bepaalde pagina een aantal maal heeft bezocht. Het instellen is echter nogal omslachtig (aan de gang met javascript en cookie informatie binnen Omniture).

    Aangezien je website optimizer zul je zelf de testen moeten triggeren wanneer er een bepaald gedrag is geweest. 2 ingangen zijn daarbij het meest logisch:

    1) je gebruikt een targeting systeem waarbij je op basis van gedrag bepaalde boodschappen aan bezoekers uitserveert. Dit systeem kun je ook gebruiken om website optimizer code uit te serveren?

    2) vanuit je CMS zorg je dat bezoekers die een bepaald pad doorlopen een eigen pagina variant krijgen. In plaats van het gebruiken van 1 pagina voor bezoekers die daar via meerdere routes kunnen komen maak e per route een aparte pagina (waarbij in het begin deze pagina’s dezelfde inhoud hebben, maar al gaandeweg optimaliserend zullen deze gaan verschillen). Ik schreef al eerder over de onzin van hetzelfde afsluitformulier voor elke bezoeker (wel aparte landingspagina’s, maar geen aparte conversiepagina’s…

    Je hoeft overigens geen oneindige pagina kopieën te maken. Er zijn ook CMS’en die met experiences werken, waardoor je per type bezoeker de pagina’s kunt aanpassen (dynamische pagina’s op basis van bezoekersgedrag in plaats van statische pagina’s per type bezoeker).

  12. Ik sluit me helemaal bij Ton aan. Het liefst test je altijd met segmentatie.

    Tips bij ingang 1: gebruik BTbuckets (gratis) om je segmenten aan te maken (de FF plugin zorgt voor de integratie met Google Website Optimizer scripten) of kijk eens naar de Visual Website Optimizer (heeft een ingebouwde segmentatie optie).

    Wat betreft ingang 2: Je kunt met de Google Website Optimizer ook testen aan elkaar ‘schakelen’. Hierbij stel je dus een bepaald pad vast en blijft dit in de cookie bewaard. Kort gezegd betekent dat id’s van twee testen worden gesynced. Dus mocht het met het cms niet lukken dan zou je dat ook via deze weg kunnen proberen. In theorie kan je ook aan een tweede test een voorwaarde/segmentatie hangen. Wellicht wat ingewikkeld maar het kan wel 😉

  13. Beste Reinout,

    Ik sluit me helemaal aan bij Ton en Janko.

    Waar jullie behoefte aan hebben is ‘ gewone’ behavioral targetting.

    Kijk ook naar de alternatieven van Omniture T&T:
    Amadesa
    Autonomy Optimost (nu onderdeel van interwoven)
    Kefta (onderdeel van Axciom)

    Je moet wel rekening houden met voldoende volume. Anders gaan de testen maanden lopen voordat je een significant resultaat behaalt. Jouw segmentatie leek me behoorlijk genuanceerd. Als je een registratieproces met bijvoorbeeld 100 conversies per dag gaat segmenteren in 4 stuks dan heb je behoorlijk kleine segmenten. Je testen moeten dan flinke verschillen tonen om binnen een maand een test af te ronden.

Reacties zijn gesloten.