State of CRO and A/B-testing tools

Nieuwe inzichten: update van de status van CRO tools in Nederland

In mei 2017 publiceerden wij de resultaten van ons onderzoek naar de status van CRO en A/B-testen in Nederland. Afgelopen december hebben wij een vervolgonderzoek uitgevoerd waarbij we specifiek hebben gekeken naar de verschuiving in de voorkeuren voor A/B-test software en workflow tools en het gebruik hiervan. De resultaten van dit onderzoek lees je hier.

Maar ten eerste natuurlijk dank aan iedereen die heeft deelgenomen aan het onderzoek. In totaal zijn er, in de onderzoeksperiode van wederom 2 weken, 357 deelnemers gestart met de enquête wat heeft geleid tot 124 gekwalificeerde respondenten die het onderzoek hebben afgerond (tegen 142 gekwalificeerde respondenten in het vorige onderzoek).

Wie zijn de respondenten?

We hebben dit maal met name gekeken of er een andere samenstelling is onder de respondenten sinds de vorige meting, omdat we bij het analyseren van dit onderzoek met name ook kijken naar de verschuivingen sinds het vorige onderzoek.

status van CRO tools

In absolute aantallen hebben minder mensen meegedaan vanuit de kleinere bedrijven. De absolute deelname vanuit de andere type bedrijven is nagenoeg gelijk, wat in de procentuele verdeling zorgt voor een stijging in het aandeel van de middelgrote en grotere bedrijven in de resultaten van dit onderzoek van december 2017.

De verhouding managers (27%) en specialisten (73%) is nagenoeg gelijk gebleven, alleen binnen de specialisten is de vertegenwoordiging van “medior” experts gegroeid ten kosten van “junior” en “senior” experts. Nu is de groep junioren en medioren samen even groot als de groep senioren, terwijl dit in in april een groep was die zich voor bijna 60% senior noemde.

status van CRO tools

In de vorige enquête werkte 69% aan “klantzijde” (bij een merk en niet bij een bureau of leverancier), nu is dit aandeel gestegen naar 75% (het zijn dus in absolute zin vooral minder bureaumedewerkers en leveranciers die de enquête hebben ingevuld). De respondenten werken nog steeds overduidelijk vooral voor marketing, maar er is een groei zichtbaar in respondenten die werken voor sales of een specifieke CRO afdeling.

De gemiddelde leeftijd van de respondent is ditmaal 35,3 jaar, waarmee er een stijging is van 0,8 jaar ten opzichte van de vorige enquête (welke 0,6 jaar geleden werd afgenomen). Hun gemiddelde werkervaring is toegenomen van 11 naar 11,7 jaar en het gemiddeld aantal jaar CRO ervaring per respondent is gestegen van 4 naar 4,7 jaar. De groep is qua ervaring dus meegegroeid met de maanden die voorbij zijn gegaan, hoewel er ook respondenten zijn met 0 of 1 jaar CRO ervaring in de nieuwe pool. Degenen die zij vervangen lijken met name de mensen te zijn die in de vorige enquête ook al weinig ervaring hadden.

In totaal is er een geschatte 62% overlap in respondenten die in beide enquêtes deel uitmaakten van de resultaten (op basis van opgegeven emails voor de congreskaart verloting onder de deelnemers van beide onderzoeken. Deze week maken we de winner daarvan bekend trouwens, dus je maakt nog kans!).

A/B-test tools: het marktoverzicht

Op basis van onze gemiddelde puntentelling zoals we deze ook een half jaar geleden hebben gebruikt, is VWO nog steeds de leidende tool, hoewel de voorsprong op Optimizely snel afneemt. Dit komt overigens meer door de krimp van VWO dan door de groei van Optimizely. Samen zijn beide aanbieders nog steeds goed voor een krappe meerderheid in de meest gebruikte A/B-tools.

status van CRO tools

De interessante verschuivingen zitten natuurlijk in de details en de vergelijking met het vorige onderzoek. Als eerste de veranderingen ten aanzien van de “market awareness” – in hoeverre kent de respondent een tool – wie heeft de grootste absolute groei in bekendheid over de afgelopen periode?

status van CRO tools

AB Tasty is hier de grote winnaar, hun bekendheid is gegroeid van 40% naar 66%. Over het algemeen lijkt de “awareness” van de respondenten over tools toegenomen. De lichte daling bij VWO en Optimizely valt natuurlijk ook te wijten aan het grote bereik dat zij al hadden. Google zit nu met haar premium (360) en free aanbod op dezelfde bekendheid als beide marktleiders. Opvallend is ook de toename van bekendheid met zelfgebouwde oplossingen en A/B-testen binnen het Content Management Systeem.

Nu brengt naamsbekendheid natuurlijk niet direct verschuivingen in de markt qua gebruik. De meeste softwarecontracten lopen langere tijd door. Wat we hebben vergeleken is de absolute procentuele stijging bij de respondenten in tools die zij gebruiken en tools die ze heel graag zouden gebruiken:

status van CRO tools

Dit geeft een voorspelling voor de bewegingen in de komende maanden. VWO lijkt de grote verliezer te worden (na afgelopen half jaar al marktaandeel te hebben verloren in Nederland). Daarnaast is de interesse in Google Optimize Premium ook afgenomen, hoewel het marktaandeel nog klein is. De snelste groeiers zijn de A/B-test oplossing in het CMS, AB Tasty en A/B-testen met een eigen library binnen het tag management systeem. Zijn dit de oplossingen die het marktaandeel van VWO overnemen? Optimizely lijkt immers te stabiliseren qua groei.

Een eigen server side oplossing lijkt toch minder gewenst dan een half jaar geleden. Opvallend is de groei in de tevredenheidsscore over de meest gebruikte A/B-test tool binnen de organisatie – deze steeg van gemiddeld een 3,13 (op een schaal van 1 tot 5) naar 3,44. Dit wordt deels gewoon veroorzaakt door de huidige leiders qua marktaandeel VWO en Optimizely die een betere waardering kennen (of zijn de minder tevreden klanten nu overgestapt?) en deels door de oplossingen die gestegen zijn in marktaandeel (die een gelijke gemiddelde waardering hebben als vorige keer). Het percentage respondenten dat de A/B-test oplossing ook gebruikt voor personalisatie is licht gedaald van 28% naar 25%.

Workflow tools: het marktoverzicht

Goed nieuws – workflow tool gebruik, test prioriteringsmodellen en het opslaan van learnings werd al veel gedaan door agencies, maar aan klant-/merkzijde is nu ook een grote stijging zichtbaar. Workflow tool gebruik is gestegen van 46% naar 60% en het gebruik van een A/B-test prioritering methodiek is gestegen van 54% naar 69%. Het opslaan van onderzoek en A/B-test learnings ligt hier nu op 58% (42% doet dat dus steeds nog niet!).

Jira en Trello zijn nog steeds overduidelijk marktleider en in gebruik alleen maar groter geworden de afgelopen maanden. De snelste stijger is echter de specialistische tool Effective Experiments:

status van CRO tools

Als we kijken naar “market awareness” dan is hier ook een groei te zien in bekendheid van de meest genoemde tools, het gemiddelde awareness niveau van de respondent is hoger dan een half jaar geleden. De snelste groeiers zijn Effective Experiments en Asana, waarbij Effective Experiments als eerste van de specialistische tools nu qua bekendheid in de buurt komt van de standaard projectmanagement tools. Niet opgenomen in het overzicht is het gebruik van (enkel) spreadsheets, dit is een stabiel percentage van net geen 10% (afkomstig uit de open antwoorden).

status van CRO tools

Hoewel Asana qua bekendheid een mooie absolute groei heeft meegemaakt is dit niet de tool of choice van de respondenten. Zij zijn zelfs de grootste daler. De toppositie wordt in onderstaande groei overzicht ook ingenomen door Effective Experiments, hoewel Jira en Trello ook snel groeiden is het gat kleiner geworden en vooral de afstand groter met de andere specialistische tools. Een oudere projectmanagement oplossing zoals Basecamp heeft Effective Experiments ondertussen ver achter zich gelaten.

status van CRO tools

Tot slot

De lijsten zijn slechts de resultaten van ons onderzoek, een weergave van de markt nu en de webanalisten.nl community in het bijzonder. Hoewel we denken een goede afspiegeling van de markt zijn (ook op basis van marktaandeel cijfers van andere externe bronnen), zal er een bias aanwezig zijn ten aanzien van marktbekendheid en voorkeur voor bepaalde tools. Het wil niet per definitie zeggen dat de nummer 1, of de snelst stijgende tool, de tool is die het beste bij jouw organisatie past. Gebruik deze inzichten als handvat, maak eens kennis en kies voor de oplossing die past qua requirements, budget en cultuur.

Help je over 6 maanden weer mee met de 2018 status update? Dan gaan we weer dieper in op het aantal experimenten, het aantal winnaars, de gebruikte vooronderzoeksmethodieken en natuurlijk nemen we weer een update van toolgebruik mee.

Reacties (5) Schrijf een reactie

  1. Aanvullend hebben we nog een laag dieper gekeken naar het gebruik van A/B-test tools. Niet iedereen kent elke tool al, als men wel een tool kent, dan is het enerzijds interessant hoeveel procent hiervan de tool echt niet goed vindt of wil gebruiken en hoeveel procent de tool gebruikt of graag zou gebruiken. Je krijgt dan los van de naamsbekendheid een overzicht van de populariteit van de tools. Nu we informatie van het onderzoek uit Q4 kunnen vergelijken met het onderzoek uit Q2 kunnen we nog exacter iets zeggen over de groei in populariteit van elke oplossing:

    NO = Oplossing niet goed of past niet bij ons
    MAYBE = Zou voor ons kunnen werken
    YES = we gebruiken dit of zouden dit graag gebruiken

    Overzicht verhouding onder wie de betreffende oplossing kent in Q2 2017, gesorteerd op absoluut marktaandeel in Q2 2017:

    YesMaybeNo_Q22017

    Overzicht verhouding onder wie de betreffende oplossing kent in Q4 2017, gesorteerd op absoluut marktaandeel in Q2 2017:

    YesMaybeNo_Q42017

    Absolute procentuele verschuivingen van de voorkeuren in Q4 2017 ten aanzien van Q2 2017:

    YesMaybeNo_difference2017

    Hieruit wordt duidelijk dat VWO en Optimizely nog steeds de tools zijn die het meest geliefd zijn: 4 op de 5 respondenten die de tool kennen zegt geen nee tegen de tool nu (dit was bij Optimizely eerder wel beter – 1 op de 10 respondenten is verschoven van misschien naar nee). Google Optimize zit in de hoek waar de klappen vallen qua bereidheid om met de tool te willen werken. De Premium (360), betaalde versie is gedaald van graag willen gebruiken naar misschien en de gratis versie van Google Optimize heeft een grote stijging van mensen die dit nu niet willen gebruiken (waar het eerst misschien was).

    Voor eigengebouwde client side oplossingen, Adobe Target en Sitespect is ook een flinke negatieve trend zichtbaar van misschien willen gebruiken naar een echte nee. Omniconvert, Maxymiser en AB Tasty hebben een omgekeerde trend: zij zitten in de lift van mensen die nee zeggen tegen deze oplossing naar misschien (onder de mensen die deze tools kennen), hoewel bij Maxymiser en Omniconvert het aandeel nee’s nog steeds groter is dan de helft van de respondenten die de tool kennen. Een eigen script via een tag manager en testen via het CMS hebben beiden een licht positieve trend.

    Tot slot de nieuwe uitslag van Q4 gesorteerd op het percentage mensen dat zegt: deze tool is niet voor ons of vinden we gewoon niet goed. Hoe hoger je staat, hoe beter – benieuwd wat dit soort waarden zeggen over de verschuivingen in marktaandelen als we volgende keer het onderzoek uitvoeren:

    YesMaybeNo_Q42017_nosorted

    Beantwoord

  2. Dezelfde verdieping zoals in de comment van mij hierboven over A/B-test tools hebben we ook gemaakt voor de workflow tools:

    NO = Oplossing niet goed of past niet bij ons
    MAYBE = Zou voor ons kunnen werken
    YES = we gebruiken dit of zouden dit graag gebruiken

    Overzicht verhouding onder wie de betreffende oplossing kent in Q2 2017, gesorteerd op absoluut marktaandeel in Q2 2017:

    YesMaybeNo_Workflow_Q22017

    Overzicht verhouding onder wie de betreffende oplossing kent in Q4 2017, gesorteerd op absoluut marktaandeel in Q2 2017:

    YesMaybeNo_Workflow_Q42017

    Absolute procentuele verschuivingen van de voorkeuren in Q4 2017 ten aanzien van Q2 2017:

    YesMaybeNo_Workflow_difference2017

    Hoewel de marktbekendheid van Jira en Trello nog veel hoger is dan de specialistische tool Effective Experiments is er wel een verschuiving qua interesse om het te gebruiken. In Q2 scoorden deze 3 tools nagenoeg gelijk in Yes, Maybe en No. In Q4 zijn er verschuivingen opgetreden. Het aandeel “Maybe” is aanzienlijk gedaald bij alle 3, alleen bij Effective Experiments is het geheel verschoven naar “Yes”. Bij Trello en Jira schuift het beide kanten op: hun “No’s” zijn erg toegenomen. Bij Jira is er nog een positieve balans, bij Trello is de groei in “Yes” veel lager dan de groei in “No”. Is dit een teken dat de markt volwassener wordt en meer gebruikers gaan geloven in specialistische tools in plaats van algemene oplossingen? De groei valt deels ook terug te voeren op het feit dat de kleinere bedrijven ook groeien in het gebruik van workflow oplossingen – zij kiezen vaak minder snel voor een Jira oplossing, waar grotere IT organisaties vaak mee werken.

    De algemene oplossingen Asana en nog meer Basecamp zitten aan de negatieve kant, qua gewilligheid om de tool te gebruiken. Een aantal specialistische tools echter ook: Growthhackers Projects en Liftmap dalen flink van “Yes” naar “No” of “Maybe”, net zoals Experiments Engine er niet florisant voor staat (van “Maybe” naar “No”), wat nu overigens niet meer bestaat (gekocht door Optimizely – welke we in de volgende review in de nieuwe vorm ook weer meenemen in deze categorie). Als deze tools moesten al werken aan hun naamsbekendheid, maar dus ook aan de liefde door mensen die de tools wel kennen. Onbekend maakt onbemind, maar bekend dus blijkbaar ook nog.

    Tot slot hier ook de nieuwe uitslag van Q4 aflopend gesorteerd op het percentage mensen dat zegt: deze tool is niet voor ons of vinden we gewoon niet goed. Hoe hoger je staat, hoe beter – benieuwd wat dit soort waarden zeggen over de verschuivingen in marktaandelen als we volgende keer het onderzoek uitvoeren – hoe Effective Experiments er dan voor staat in vergelijking met Trello en Jira en of Iridion (die hier positief is gegroeid van “No” naar “Yes”) verder groeit.

    YesMaybeNo_Workflow_Q42017_nosorted

    Beantwoord

  3. Hoi Ton, ik ben erg benieuwd wat er gaat gebeuren nu Optimizely zijn pricing plan drastisch gaat aanpassen en alle free accounts (en kleine subscriptions) stopt zet vanaf eind februari. De tool mag dan het beste en meest gelieftst zijn, we hebben een groot aantal klanten (in Nieuw Zeeland en Australie waar we gebasseerd zijn) die vanwege de nieuwe pricing, over moeten stappen naar een alternatief, e.g. VWO of Google Optimize. Wat verwachten jullie wat het effect op de markt zal zijn (if any)? Thanks!

    Beantwoord

  4. Beter laat dan nooit Cornelius – nieuws uit Nieuw Zeeland is lang onderweg 😉 Ik verwacht dat veel kleinere accounts afscheid nemen van Optimizely (dat is hun eigen koers ook, daar zitten niet de marges voor hun organisatie) en dat deze bedrijven overstappen naar lager geprijsde aanbieders zoals ABTasy en Convert of, bij lage aantallen experimenten per maand overstappen naar Google Optimize. Het gratis aanbod van Google zal er voor gaan zorgen dat meer bedrijven gaan A/B-testen, met alle problemen van dien – start maar vast je content marketing op “How come I can’t find winning experiments?”.

    Beantwoord

Geef een reactie

Verplichte velden zijn gemarkeerd met een *.