15 Feb 2010
Geschreven door: Jorden Lentze - ABN AMRO in: a/b testen, multi variatie testen, optimalisatie tips, praktijk cases, test resultaten
Het aantal tools en technieken dat het leven van een online marketeer makkelijker maakt neemt gestaag toe: A/B testen, mulitvariate testing, behavioural targetting, retargetting, engagement mapping, 101 webanalyticspakketten (die helaas nog niet zover zijn als Dennis Mortensen wil).
Maar wat nog achterblijft imho zijn de onderliggende theorieën die het gebruik van deze tools echt rechtvaardigen en waardoor je ook weet waarom iets werkt of niet. Grappig is dat veel van deze theorieën al jaren gebruikt worden door onze off-line collega’s.
Wat mij ook opvalt is dat bij, bijvoorbeeld een A/B test, vaak geen hypothese wordt opgesteld en dat verwachting niet van tevoren gedefinieerd worden.
“Meten is weten” wordt er vaak gezegd en we meten ook al heel veel. Maar meten is pas het begin. Inzicht, dat is de clue. Weten in welke context de metingen verricht zijn: seizoeninvloeden, vakanties, rentewijzigingen, concurrentie, temperatuur (want bijna niemand kruipt actief achter een computer als het buiten warmer dan 25C is), dagdeel, gedrag, etc. Weten waarom een bepaalde testvariant beter werkt dan een andere en niet alleen dat deze beter werkt.
Ik ben er nog niet uit maar ik wil graag met jullie delen wat we bij de ABN AMRO Hypotheken Groep gedaan en geleerd hebben op basis van het gebruik van diverse theorieën en wat de voordelen zijn van het gefundeerd testen.
Welke kleur werkt het beste in de CTA van een banner? Er zijn miljoenen kleuren, als je zonder na te denken een aantal kleuren gaat testen dan ben je geruime tijd bezig voordat je de best presterende gevonden hebt.
Na wat onderzoek vond ik dit overzicht van Karel Geenen waarin wordt gepostuleerd dat oranje de beste kleur is voor een CTA. Op basis hiervan hebben we de onderstaande test uitgevoerd op de fotopagina van Funda (is alweer een tijdje geleden).

Het testen van verschillende kleuren wordt vaak beperkt doordat vast gehouden moet worden aan de huisstijl kleuren van een website. Hierdoor kun je dus conversies mislopen en dat is voer voor interessante interne discussies

Zoals ziet, blijkt het namelijk gewoon te werken. Dit is echter niet alles want experimenten van Ton Wesseling van Online Dialogue laten zien dat een rode knop beter werkt tijdens kantooruren en dat een groene knop beter presteert tijdens weekenden [note: Ton Wesseling maakte hier een nuance op in een reactie bij dit artikel]. Binnen de context van de hier beschreven test werkt oranje (overall) het beste maar mogelijk kunnen deze resultaten nog verbeteren wanneer deze gesegmenteerd worden op basis van dagen en misschien zelfs tijdstippen. Over het waarom bestaan veel ideeën maar hier is nog niet met zekerheid iets over te zeggen.
Mensen willen graag bij een groep horen en vertonen daarom veel sociaal geaccepteerd gedrag, groepsgedrag. De gedachte bestaat dat het gedrag van de groep klopt, dat de groep het beter weet: horeca-ondernemers weten dit al langer. Je stapt eerder een vol restaurant in dan een leeg restaurant omdat je denkt dat in een vol restaurant het eten beter is (anders zou deze niet vol zitten). Daarom zetten horeca ondernemers de eerste klanten zoveel mogelijk aan het raam…
Social Proof is hier onderdeel van. Door aan te geven wat de groep doet kun je (bepaalde) mensen over een drempel heen helpen. Een bekend voorbeeld hiervan is bijvoorbeeld de top 10 meest verkochte boeken. Een andere mogelijkheid is om aan te geven hoeveel mensen deze keuze reeds gemaakt hebben.

Evert Stobbe van ABN AMRO heeft dit getest en zoals bovenstaand geimplementeerd en dat leverde aanzienlijk meer conversie op. Ook Independer past dit toe op hun pagina’s. Op de “oude” website van MoneYou hebben we dit als volgt getest:

De resultaten waren verrassend. Hoewel de pagina met social proof 5% beter presteerde dan de originele pagina, bleek de 3de variant die we als 0-meting lieten meedraaien het 13% beter te doen. We zullen dus nog verder moeten testen om de juiste manier te vinden om social proof in te zetten. Mogelijk werkt het beter als de social proof tekst boven in niet in de button staat.
Spiegelneuronen zijn neuronen die niet alleen getriggered worden bij het zelf doen van een actie of een handeling maar ook bij het zien van deze actie of handeling bij iemand anders.

Daarom zal een pas geborene ook haar of zijn tong uitsteken terwijl deze amper controle heeft over de motoriek, wanneer jij ook je tong uitsteekt en ga je gapen wanneer je iemand anders ook ziet gapen.
Naar men aanneemt spelen ze o.a. een rol bij het leren van nieuwe vaardigheden door imitatie maar ook bij het kopieren van “gedrag”. Eyetracking testen hebben het onderstaande opgeleverd:
![]()
Dit hebben we als volgt getest in banners:

Hoewel dit resulteerde in een hoger conversie percentage waren de resultaten niet goed genoeg om dit structureel in te zetten in de huidige banners. Momenteel werken we aan nieuwe banners waarbij we dit opnieuw gaan testen. We zetten dit al wel in op specifieke landingspagina’s:

Het herkennen van mensen is een proces waarbij je niet hoeft na te denken, het is direct. Dit is echter niet het geval wanneer je een foto omdraait (face inversion effect). Gevoelsmatig is dit logisch maar wetenschappelijk niet. Daarbij komt dat het gemakkelijker is om dingen en voorwerpen omgekeerd te herkennen dan mensen.

Het scannen van woningen, bijvoorbeeld in een lijst van resultaten gebeurd relatief automatisch. Wanneer we een omgekeerde foto aan deze lijst toevoegen, wordt hierdoor het automatisch proces doorbroken waardoor bezoekers weer gaan lezen.
Er zijn meerdere manieren om dit effect te bewerkstellingen maar deze oplossing is subtieler dan “danger, food or sex” en resulteerde in een significante verhoging van de CTR (+230%).

Veel van de hier besproken theorieën zijn al langer bekend bij offline marketeers en vinden nu ook gestaag hun weg bij online marketeer.
Een gedegen fundering van je online ideeën en uitingen heeft diverse voordelen:
Ter herinnering nog een aantal extra redenen om te testen van Ronny Kohavi : “Data Trumps Intuition”.
Tijdens het testen van verschillende variaties vind ik het persoonlijk altijd zeer frustrerend dat ik regelmatig verkeerd inschat welke variatie uiteindelijk de beste resultaten oplevert (daarom moet je ook altijd alles testen en testen en testen) maar nog erger vind ik het als ik niet kan achterhalen waarom iets werkt of niet. Het gebruik van theorieën en hypotheses heeft deze pijn een stukje verzacht ![]()
* Sneller op de hoogte? Abonneer je gratis op onze RSS feed of ons Twitter kanaal !
21 Reacties
uberVU - social comments
15|Feb|2010 (16:13) 1Social comments and analytics for this post…
This post was mentioned on Twitter by Leime: RT @tonwesseling: 4 praktijkcases van conversie optimalisatie op basis van een theorie door @atopos42 @webanalisten : http://bit.ly/afN1Js…
Kevin Anderson
15|Feb|2010 (21:11) 2Interessant artikel, Jorden. Helemaal eens dat je verder moet gaan dan ‘meten is weten’. Dus altijd op basis van een hypothese een analyse of test inrichten.
Ik vraag me alleen af wat de theorie is achter het beter werken van een rode knop tijdens kantooruren en een groene knop tijdens weekeinden. Kan dat niet gewoon toeval zijn (ook al is het in een a/b test onderzocht)?
Jorden Lentze
16|Feb|2010 (9:48) 3@Kevin
Misschien dat Ton iets meer kan vertellen over de statistische significantie van deze test. Ik neem aan dat er genoeg conversies gegeneerd zijn binnen deze test om aan te kunnen nemen dat toeval, statistisch gezien, uitgesloten is.
Betreffende het waarom van de groene en de rode knop, denk ik zelf dat dit te maken heeft met de verschillende “persona’s” die mensen hebben gedurende een periode/week. Bijvoorbeeld: overdag is iemand een werknemer die snel en efficiënt werkt, in de avond een zorgzame vader/moeder en in een weekend een rustige en speelse vriend/vriendin. Bij deze persona’s hoort verschillend gedrag en verschillende triggers (groen, rood).
Dit heb ik echter nog niet onderzocht maar staat wel hoog op mijn lijstje.
Wat denk jij dat de reden achter het verschil tussen de rode en de groene knop is? En….hoe zou het komen dat in onze eigen test oranje juist beter werkt?
Wieger Waardenburg
16|Feb|2010 (11:35) 4Interessant artikel. Ook leuk om dit soort succes stories vanuit de praktijk te horen, compleet met harde resultaten!
Weg met het onderbuikgevoel: meten en analyseren van het online recruitmentproces - Werving en Recruitment - HRlog.nl
16|Feb|2010 (11:54) 5[…] weer een aantal bekende en onbekendere voorbeelden gegeven vanuit de webanalyse in het artikel Meten is Weten – praktijkvoorbeelden. Door webanalisten wordt in tests (A/B testen en Multi Variatie testen) bekeken welke varianten van […]
Ton Wesseling - Online Dialogue
16|Feb|2010 (13:10) 6@jorden veel dank voor het delen van deze praktijkinzichten op webanalisten.nl!
Ik wil wel een nuance maken ten aanzien van de rode / groene knop weekend / doordeweeks zaak die je benoemt (ook voor @kevin). Conslusie is namelijk niet dat een rode knop doordeweeks beter werkt en in het weekend een groene, maar dat puur voor de betreffende website in de betreffende periode dit het geval was. De achterliggende (herleide!) gedachte is dat mensen tijdens kantooruren gehaaster zijn (ook gezien de sessietijd) en daardoor duidelijk moeten worden gewezen op de call-to-action (een knop met afwijkende / opvallende kleur, dat hoeft dus niet alleen rood te zijn, dat verschilt per design). In het weekend heeft men meer tijd en is de opvallende knop te pusherig / te opdringerig en werkt een knop die goed binnen het design past en niet te veel op valt veel beter.
De vergelijking is gemaakt met een test van 6 weken waarbij alle zaterdagen en alle maandagen met elkaar zijn vergeleken met als doel conversie op een formulier. Het was en multi variatie test met (specifiek voor dit voorbeeld) 2 soorten call-to-action vormen, 2 kleuren en 4 verschillende teksten. Ongeacht de tekst bleek van de vorm “button” het verschil tussen groen en rood op de zaterdag / maandag met een zekerheid van 90% in beide gevallen ongeveer 30% conversie verschil op te leveren (maandag voor rood en zaterdag voor groen).
Ton Wesseling - Online Dialogue
16|Feb|2010 (13:21) 7@jorden even wat opbouwende kritiek op je funda.nl omgekeerde huis test: lijkt mij voor de hand liggend dat je klikratio veel hoger is, maar wat gebeurde er met je conversie ratio? Had je inderdaad een briljante campagne met een hypothekenaanbod die de wereld op zijn kop zette en haalde je daardoor ook meer leads binnen of had je alleen maar klikkers die direct weer vertrokken?
Rob Eijgenraam - Internet Marketing | Wat is ‘conversie optimalisatie’ nou precies?
16|Feb|2010 (13:24) 8[…] en ‘kopieergedrag’ een rol spelen. Jorden Lentze van ABN-AMRO heeft een leuk stuk geschreven over de toepassing hiervan op hun websites. Een voorbeeld is onderstaande foto, waarbij […]
Kevin Anderson
16|Feb|2010 (20:40) 9@Ton: bedankt voor de extra toelichting over het experiment.
@Jorden: waarom de oranje button beter werkt? Ik denk dat deze gewoon het beste past bij de gekozen layout en stijl van de website. Dat maakt het resultaat van het experiment niet minder waardevol. Ik zie natuurlijk liever dat op deze manier een site wordt ontworpen dan volgens de huisstijl richtlijnen van de communicatie afdeling.
Ik zou alleen oppassen met het doorvertalen van een enkel experimenten naar algemene theorie.
Jorden Lentze
16|Feb|2010 (22:16) 10@Ton bij de test met het omgekeerde huis lag de focus idd niet direct op conversie. Met deze test wilden we proberen uit te vinden hoe we de aandacht van de bezoeker konden trekken op een subtiele(re) manier met het oog op bannerblindheid.
De banners die we tot dan toe gebruikten hadden CTR’s tussen de 0,05% en 0,07% waardoor ook steeds minder banners gingen inzetten. Zelfs bij een hoge conversie leverde dit een te lage ROI op.
Inmiddels gebruiken we voornamelijk banners waarbij bezoekers de mogelijkheid hebben om gegevens vooraf in te vullen. Deze werken beter, zowel met betrekking tot de CTR als conversie%.
Wat betreft de kleur van de knop. Jouw opmerking hierover klopt natuurlijk. Wanneer de ING op haar website een oranje knop gebruikt dan wil dit niet zeggen dat dezelfde resultaten behaald worden. Maar misschien kan iemand van ING hier iets over zeggen
Het lijkt mij erg interessant om de verschillende kleuren knoppen nogmaals te testen alleen dan te segmenteren op basis van weekend, kantooruren en ’s avonds. Sluit ook goed aan op het artikel over segmentatie op basis van webgedrag.
Mooie knop trouwens, onderaan de pagina
Robert-Jan van Diepen
17|Feb|2010 (8:36) 11@jorden: leuk stuk waarin je interessante informatie geeft over het testproces. Je schrijft ook dat je vaak niet weet waarom een wijziging wel of niet werkt. Ik raad je aan om daarom ook je webpages te eyetracken en de resultaten te matchen met je statistieken. Hier ga je heel veel lering uit trekken. Wat je namelijk in kaart brengt zijn elementen die de aandacht trekken en aandacht vast houden. Je krijgt hiermee veel meer vat op het ‘waarom’ van een beter of slechter resultaat. Probeer het gewoon eens en zet daar minimaal 20 respondenten voor in. Je krijgt dan pas stabiele heatmaps en je kunt er dan vanuit gaan dat het kijkgedrag niet meer veranderd. Als je informatie wilt hoe je dit moet aanpakken, dan hoor ik dat graag.
Ton Wesseling - Online Dialogue
17|Feb|2010 (8:57) 12@robert-jan bij AB testen wordt steeds vaker (door mij in ieder geval wel) gewerkt met een enquete achtige oplossing voor feedback van gebruikers die een bepaalde test variatie te zien krijgen. Enerzijds beoordeel je dan niet alleen op conversie, maar bijvoorbeeld ook op NPS. Daarnaast geven de antwoorden extra inzichten in het waarom van een bepaalde uitkomst (zeker wanneer het geen detail wijzigingen betreft). Het echter vooraf goed usability testen van je variaties (door bijvoorbeeld ook eyetracking) is iets wat zeker vaker mag gebeuren. Ik zie vak testuitslagen waarbij achteraf blijkt dat een variatie niet goed scoort omdat de usability niet op orde is (terwijl vaak de conclusie wordt getrokken dat het dan aan de content ligt). Nadeel is wel dat je een stuk minder snel aan de slag gaat en dat was nu juist het mooie van testing!
Jasper van Veen
17|Feb|2010 (10:04) 13@Jorden, mooi verhaal! Ik denk ook dat we moeten uitvinden wat er fundamenteel achter gemeten effecten zit. Goed punt ook om aan te snijden dat offline hier al veel ervaring mee heeft. En dan te bedenken dat er offline minder makkelijk valt te meten. Kijken dus wat online meten ons verder nog gaat leren. Dan druk ik nu op de oranje knop. Vast geen toeval.
Arthur Wetselaar
17|Feb|2010 (13:53) 14@jorden
Even wat psychologie van de kouwe grond voor de groenrode knoppen en de weekdag. Mijn verhaal bevat gaten en tegenstellingen. Maar ik probeerde even wat free thinking.
Doordeweeks zit ik in mijn werkmodus. Een groen licht in verkeer is vanzelfsprekend, een rooie is zwaar irritant want ik zit met tijdsdruk. Alle dashboards die ik onder ogen krijg en die een kleurcodering gebruiken voor de status gebruiken groen als iets soepel loopt. De soepel lopenden negeer ik, de rode daarentegen krijgen meer eye movements. Felle kleuren doordeweeks irriteren me niet, ik zit toch in overdrive.
In het weekend zal me eerder opvallen dat ik een groene golf bij de verkeerslichten haal. En bedenk me dat groene golven toch echt bestaan. Een rood licht irriteert me minder want ik heb meer tijd. Als ik surf in het weekend dan heb ik eerder dat ik opdringerig gekleurde banners of buttons met mijn ogen vermijd. Het past niet bij mijn relaxmodus.
Tot slot als je moet kiezen voor 1 kleur voor de hele week lijken me oranje call-to-actions (los van het overige design van de website) in theorie de beste kleur om te converteren. Oranje staat voor opgelet in het verkeer en in veel applicaties.
Robert-Jan van Diepen
17|Feb|2010 (13:54) 15@Ton: het gaat bij de methodiek die ik bedoel niet om de usability maar om het kijkgedrag. Als de respondenten 5-10 seconden naar de webpage kijken is dat al meer dan genoeg. Langer kijken ze er toch niet naar. De eyetracking data die daaruit voortvloeit match je dan met de analytics. Op deze wijze krijg je meer inzicht in het ‘waarom’.
Jan de Vries - FBTO
17|Feb|2010 (22:49) 16@Jorden complimenten en dank voor dit heerlijke artikel met veel praktische voorbeelden en resultaten. Jouw frustaties herken ik
maar dat maakt het alleen maar leuker wanneer je het wel een keer bij het goede eind hebt. Elke test is weer een klein avontuur. Volgens mij liggen er nog genoeg avonturen in het verschiet. Jij hebt me in ieder geval input gegeven voor een volgend avontuur.
@Ton klopt vaak geeft je survey meer informatie waarom iets beter werkt.
Wij testen redelijk extreem. Hiermee bedoel ik dat we veel veranderingen in een verkoopproces aanbrengen op verschillende stappen. Die testen we dan af tegen het huidge verkoopproces. Probeer dan nog maar eens te achterhalen waarom het beter werkt. Wij moeten wel op deze manier werken om snel resultaat te behalen die significant zijn. Hypothes blijft hierin zeer belangrijk. Dit zet je test en de mensen op scherp. Wij zitten vaak langer te praten over de hypothese dan over de uiteindelijke uitvoering als ik er nu zo over nadenk.
@Mijn baas is in ieder geval blij als het nieuwe proces significant beter werkt. De klant is er ook bij gebaat en last but not least ook ik. Ook al weten ik en de baas niet geheel waarom het beter werkt
Jorden Lentze - ABN AMRO e-Channels
20|Feb|2010 (0:22) 17@Jan doen jullie A/B testen of MVT testen? Klinkt trouwens als een bekend verhaal, regelmatig gaat conversie boven het genereren van kennis. Toch geloof ik dat op de lange termijn het genereren van kennis meer conversie oplevert.
Ik hoor graag hoe jouw avontuur afloopt. Misschien een goed plan om hier een keer iets over te schrijven
Petra Driessen
22|Feb|2010 (14:45) 18Hoe leuk het ook rijmt, meten is weten is een mythe want m.i. nooit wat echt wordt bedoeld. Dit teveel gebruikte gezegde moet echt naar de prullenbak, het is in werkelijkheid altijd METEN OM TE VERANDEREN, toch?
; )
Jan de Vries - FBTO
22|Feb|2010 (23:11) 19@Jorden wij doen alleen A/B testen. Eens met stelling dat uiteindelijk kennis meer conversie genereert.
@Petra wellicht dekt meten is zweten meer de lading
Interessante zoekmachinemarketing artikelen van week 7
24|Feb|2010 (11:20) 20[…] Praktijkvoorbeelden van conversie optimalisatie Conversie optimalisatie is een niet te onderschatten onderdeel van zoekmachinemarketing. Vorige week schreef ik al over het vinden van slecht converterende pagina’s in Analytics. Deze week een aantal interessante praktijkvoorbeelden op websites die wij allemaal wel kennen. Dit artikel delen? […]
7 regels voor een betere landingspagina | Webanalisten.nl
18|Apr|2010 (17:34) 21[…] Gebruik je images om de focus aan te brengen. Hier is al eerder over geschreven op Webanalisten door Jorden Lentze verbeteren en optimaliseren. […]
Laat een reactie achter