CRO survey

De status van Conversie Optimalisatie en A/B testen in Nederland

Een onderzoek naar ervaring, onderzoeksmethoden, teamsamenstelling, successen en software gebruik in de wereld van Conversie Optimalisatie en A/B-testen.

Webanalisten.nl heeft in april van dit jaar een onderzoek uitgevoerd naar de status van de Nederlandse CRO markt. Dit om inzicht te krijgen in de methodes, tools en resultaten van optimalisatie specialisten. In totaal zijn er in de onderzoeksperiode van 2 weken 480 deelnemers gestart met de enquête, wat heeft geleid tot 142 gekwalificeerde respondenten. Om constant op de hoogte te blijven van de ontwikkelingen en snelle groei van de professionele CRO markt zullen we dit onderzoek ieder half jaar herhalen. In dit artikel de learnings van dit eerste onderzoek.

Wie zijn de respondenten?

De respondenten lijken een goede afspiegeling van de optimalisatie markt met een mooie verdeling over grote (35%) en kleine bedrijven (30%), klantzijde inclusief freelancers (69%), bureauzijde inclusief freelancers (25%), specialisten (71%) en managers (29%). De klantzijde onder de geënquêteerden is gezamenlijk verantwoordelijk voor 6 miljoen euro aan A/B-test software (2,7 miljoen) en CRO consultancy (3,3 miljoen) uitgaven per jaar.

De status van Conversie Optimalisatie

De gemiddelde leeftijd van de respondenten ligt iets hoger dan verwacht, namelijk op 34,5 jaar (55% van de deelnemers is tussen de 29 en 37 jaar oud). Dit zien we ook terug in de groep “uitvoerende experts”. Hiervan geeft 60% aan zichzelf te zien als “senior expert”. De enquête is dus bovenmatig ingevuld door mensen met ervaring binnen conversie optimalisatie, maar dat zien we als een positief signaal ten aanzien van de kwaliteit van de antwoorden en de beoordeling van de verschillende softwarepakketten in dit onderzoek.

De status van Conversie Optimalisatie

Een jong vakgebied, ervaren medewerkers

De resultaten van de survey bevestigen dat CRO nog maar een jong vakgebied is. Aan klantzijde zijn de deelnemers van het onderzoek pas net iets meer dan 3 jaar met CRO bezig, de bureaukant heeft 1 jaar meer ervaring. Opvallend is dat de CRO medewerker in onze enquête, die gemiddeld 11 jaar werkervaring heeft, nog 1 jaar meer CRO ervaring heeft dan de bedrijven die aan CRO doen. Enerzijds zal dit kunnen komen doordat dat er veel wisseling is van (ervaren) CRO personeel bij bedrijven onderling, maar ook dat deelnemers de werkzaamheden bij hun bedrijf pas als CRO bestempelen als er vanuit een team gewerkt wordt. CRO valt overigens over het algemeen onder de marketing afdeling:

wordcloud_cro_survey

Wat is de status van CRO?

Als we kijken daar de manier waarop CRO in een bedrijf gerealiseerd wordt zien we dat 32% van de respondenten aan de klantzijde maar 1 persoon in dienst heeft die verantwoordelijk is voor alle optimalisatie werkzaamheden. 20% van de respondenten werkt in een team van conversie specialisten en 30% werkt in een multidisciplinair team. 15% van de bedrijven heeft een opzet met meerdere teams, of zorgt dat iedereen binnen het bedrijf met optimalisatie bezig is. Ondanks dat een groot deel nog individueel te werk gaat en het vakgebied nog jong is werken toch al veel bedrijven met een team opzet aan Conversie Optimalisatie (65%).

De status van Conversie Optimalisatie

Bij de bureaus die deelnamen aan de enquête ligt het aantal CRO specialisten gemiddeld op 5. Bij dit onderdeel werden veel lage aantallen genoemd maar ook een aantal uitschieters naar 15 mensen. Er zijn op dit moment overduidelijk meer mensen aan klantzijde bezig met CRO dan aan bureauzijde.

Veel testen, vooronderzoek kan beter

Uit de resultaten blijkt dat men gemiddeld per bedrijf 6 A/B-testen per maand uitvoert. Bij bureaus ligt dit aantal net iets hoger op 7,6 A/B-testen per maand. Als input voor de hypotheses van deze testen gebruikt 81% van de respondenten regelmatig of altijd webanalytics data. Dit betekent dat 19% hier niet altijd of zelfs nooit gebruik van maakt! Ongeveer de helft van de bedrijven gebruikt als input ook surveys, heatmaps en voorgaande experimenten. Alle andere mogelijke onderzoeksmethoden worden aanzienlijk minder vaak gebruikt.

De status van Conversie Optimalisatie

Bureaus gebruiken de bovengenoemde methoden vaker (+20 tot 50% meer, met uitzondering van usertesting, dat wordt door bureaus minder gebruikt). Dit is een interessante waarneming omdat uit deze enquête blijkt dat bedrijven die bureaus inhuren beter scoren in het aantal experimenten met “winnaars” vergeleken met bedrijven die dat niet doen.

Succesvolle testen, matige implementatie

Gemiddeld leveren 42% van alle experimenten “winnaars” op onder de deelnemers aan dit onderzoek. Dit aantal is voor klantzijde en bureaus nagenoeg gelijk. Opvallend is wel dat bedrijven die gebruik maken van bureaus een succespercentage hebben van 44% (zonder bureau ligt dit op 41,5%). De agencies lijken voor een kleine uplift te zorgen in winnaars, waarbij de kanttekening gemaakt moet worden dat deze bureaus volgens de enquêteresultaten voornamelijk werkzaam zijn bij klanten die veel testen en waar het om die reden ook lastiger is om winnaars te vinden.

Ondanks dat de testen in veel gevallen succesvol zijn, worden de resultaten van de testen nog te weinig doorgevoerd. Gemiddeld wordt 52% van de learnings binnen 2 maanden geïmplementeerd. Bij 32% van de bedrijven wordt slechts 25% of minder van alle learnings binnen 2 maanden geïmplementeerd! Bedrijven die met bureaus werken blijken overigens ook succesvoller in de implementatie van learnings: er worden 25% meer successen geïmplementeerd binnen 2 maanden dan de bedrijven die zonder bureaus werken.

Welke tools worden er gebruikt?

Workflow tools & learnings opslag

De resultaten laten duidelijk zien dat agencies in 85% van de gevallen een methode hebben voor A/B-test prioritering. Bij klantzijde is dit slechts 54%. Workflow tools worden minder vaak gebruikt: 65% voor agencies en 46% aan de klantzijde. Het opslaan van learnings uit A/B-testen kent een zelfde verhouding. Op dit gebied is er dus zeker nog winst te halen bij online experimenten. Bedrijven die prioriteren en learnings opslaan, al dan niet met een bureau, hebben volgens onze enquêteresultaten gemiddeld ook een hoger percentage winnende testen.

Schermafbeelding 2017-05-16 om 12.47.07 (1)

Wat opvalt is dat voornamelijk standaard workflow tools (niet specifiek voor CRO) populair zijn. Dit betreft met name Jira en Trello. Basecamp en Asana zijn wel bekende tools, maar worden aanzienlijk minder vaak gebruikt. Jira is vooral erg populair aan klantzijde (38% gebruikt dit, tegen 15% aan agency kant), Trello is ook populair aan de agency kant (30% gebruikt dit, idem 30% aan klantzijde). Alle specialistische CRO workflow tools stoeien met 80% of meer onbekendheid aan klant en bureauzijde, alleen Effective Experiments is hierop een uitzondering qua bekendheid en vooral gebruik (12% van de ondervraagden gebruikt deze tool al).

A/B-test tools: VWO en Optimizely zijn duidelijk de marktleiders

Als we kijken naar de gebruikte A/B testing platformen zien we dat VWO en Optimizely samen 59% van de markt bezitten (37% gebruikt VWO, 22% Optimizely). Naast inhouse oplossingen (waarbij men met een eigen gebouwde A/B-test oplossing werkt) is Google Optimize (gratis en premium bij elkaar) met 16% al de grootste uitdager, hoewel de helft van deze groep nog een andere software oplossing als meest gebruikte tool heeft (1 op de 4 bedrijven gebruikt op dit moment 2 tools).

Dit Google Optimize marktaandeel is al groter dan alle andere tools (naast Optimizely, VWO en de inhouse en script library oplossingen) samen. Aan de agency kant geeft 65% aan al klanten te hebben die Google Optimize free gebruiken.

Schermafbeelding 2017-05-16 om 12.53.16 (1)

Opvallend is dat van de meest bekende oplossingen de beide inhouse oplossingen (waarbij server side oplossingen de wens zijn en client side oplossingen nog de overhand hebben) en Google Optimize, vooral de Free versie, ook het hoogste percentage “Not for us” hebben binnen de ingevulde enquêtes. Deze oplossingen zijn aanzienlijk bekender dan andere oplossingen, maar blijkbaar niet voor iedereen de juiste match.

Uitdagers in de A/B-test softwaremarkt: wie gaat er groeien?

Op basis van de gegeven van deze enquête zijn, naast Google Optimize, de uitdagers in de markt enerzijds 2 oudgedienden – Adobe en Sitespect en anderzijds 2 nieuwkomers – Convert en AB Tasty. Die laatste twee hebben vooral nog te maken met het feit dat 50% ze niet kent, maar beide hebben ze veel groeipotentie. SiteSpect en Adobe zijn bekender, maar veel deelnemers geven aan dat dit niet de juist tool voor hen is. Bij AB Tasty en Convert is het deel van de geënquêteerden dat de tool als mogelijke optie ziet groter, waardoor hun marktpotentie, ondanks hun nog relatieve onbekendheid, al bijna even groot is als dat van SiteSpect.

Er valt nog wel wat winst te halen over tool happiness. In principe doet geen enkele tool het super goed (op een 1 tot 5 ster schaal is de max een 3,7), maar Adobe, Google Optimize Free en de Server side inhouse oplossingen hebben de meest negatieve beoordelingen, hoewel gezegd moet worden dat het aantal respondenten hier erg klein is. Optimizely, Google Optimize Premium en een eigen script oplossing van Tag Management scoren qua tevredenheid het hoogste.

Op basis van alle gegevens uit de enquête verwachten wij dat het komende jaar Optimizely, Google Optimize, eigen inhouse oplossingen, Convert en AB Tasty het snelste gaan groeien in marktaandeel. We gaan het meten over een half jaar en we zullen dan ook zien of meer dan 28% zoals nu zijn A/B-test oplossing ook gebruikt voor personalisatie.

Reacties (2) Schrijf een reactie

  1. Ben erg blij dat iemand hier moeite in steekt.
    Hoeveel is er te zeggen van de hele markt met 142 respondenten?
    Jullie geven aan dat er een mooie verdeling is.
    Maar de meeste mensen komen uit jullie eigen netwerk.
    De kans dat ze dus op een hoger niveau bezig zijn dan wellicht het gemiddelde van de markt is nmi vrij aannemelijk.
    Hoe kijken jullie hier zelf tegenaan?
    En de data-analisten bij Webanalisten vooral dan :).

    “alleen Effective Experiments is hierop een uitzondering qua bekendheid en vooral gebruik (12% van de ondervraagden gebruikt deze tool al).”
    Wat voor soort CRO bedrijven? Klantzijde, bureauzijde, omvang?

    “hoewel de helft van deze groep nog een andere software oplossing als meest gebruikte tool heeft (1 op de 4 bedrijven gebruikt op dit moment 2 tools).”
    Ben benieuwd hoe het zit met omvang van bedrijven, draaien deze bedrijven zoveel traffic en experimenten dat ze een inhouse server side tool hebben ontwikkeld?

    “Er valt nog wel wat winst te halen over tool happiness”
    Heb je een idee hoe dat komt? Waarom zijn teams niet zo tevreden met de tools die ze nu gebruiken?

    “sedior expert” in eerste afbeelding.

    Fijn dat het elke half jaar herhaalt wordt trouwens.
    Keep it up!

    Beantwoord

  2. Hi Mike,

    Dankjewel voor je uitgebreide reactie. Ik probeer zo goed mogelijk antwoord te geven op je vragen:

    – Hoeveel is er te zeggen van de hele markt met 142 respondenten?

    Goede vraag – het zijn gefilterde antwoorden uit de 480 enquête starters en het zijn de mensen die met optimalisatie bezig zijn (en die het onderzoek hebben afgerond). Iedereen die nog niets doet zat al ondervertegenwoordigd in de enquête, zover mijn marktinformatie reikt, maar we hebben ze ook uit de resultaten gehaald. De kans dat we met name specialisten hebben bereikt die gemiddeld gezien professioneler bezig zijn is groot, maar van wie er serieus bezig is met CRO denken we een goede afspiegeling te hebben van grote en kleine bedrijven, van klantzijde en bureauzijde, van managers en specialisten.

    – Effective experiments: wie zijn hier dan de gebruikers van?

    De verdeling klantzijde / bureauzijde onder de gebruikers is nagenoeg 50/50 – qua aantal respondenten dus een groter aandeel onder de agencies. Aan klantzijde zijn het nagenoeg alleen bedrijven met 100 of meer medewerkers die de tool gebruiken.

    – Bedrijven die meer dan 1 test tool gebruiken:

    Ten aanzien van Google Optimize zullen dit m.i. met name bedrijven zijn die deze nieuwe oplossing aan het uitproberen zijn om te zien of het de bestaande oplossing kan vervangen (de helft van de Google Optimize gebruikers heeft zoals geschreven een andere A/B-test tool als nummer 1 tool en dit is met name Optimizely).

    De andere bedrijven die meerdere A/B-test tools gebruiken blijken allemaal bedrijven te zien die ook een inhouse oplossing draaien (client side / server side), een eigen script library via tag management of ook een A/B-test oplossing in hun systeem hebben. Zij draaien dan client site A/B-test tool er naast. Ik weet niet of dat zo blijft / dit tijdelijk is (kan vervanging / overgang zijn, kan blijvend zijn). Het zijn overigens ook allemaal de grotere bedrijven in aantallen medewerkers die dit doen.

    – Er valt nog wel wat winst te halen over tool happiness.

    Persoonlijke mening – we hebben er immers in de survey niet om gevraagd. Wat ik uit de markt leer is dat niet elke tool heel eenvoudig in gebruik is. Dat de hoop is dat de digital marketeer zelf zijn experimenten kan draaien, maar dat er toch echt design en development kennis nodig is (wat ik heel logisch vind, maar wat misschien niet de belofte is van de vendors). User interface kwaliteit is nog ook wel een issue, daarnaast hebben de tools nog wel een stap te maken in monitoring / alarmbellen als er zaken niet goed gaan tijdens een experiment en natuurlijk zal techniek / laadtijd / uptime / service niveau meespelen in de beoordeling. Het is een groeiende markt – nog niet alles is perfect 🙂

    Beantwoord

Geef een reactie

Verplichte velden zijn gemarkeerd met een *.