De waarde van CRO

Hoe bewijs je de waarde van CRO?

CRO is datagedreven werken. Een andere werkwijze dan veel mensen en bedrijven zijn gewend. Om deze reden merken we dat het soms lastig kan zijn om een organisatie een andere kant op te laten bewegen. We noemen dit ook wel buy-in. Hoe overtuig je de organisatie van de groei die conversie optimalisatie kan waarmaken?

CRO is niet meer nieuw, maar alsnog is het niet vreemd als er iemand in je organisatie CRO niet begrijpt, de waarde ervan niet inziet, of liever de focus legt op andere marketingstrategieën. Daarbij blijkt het vaak ongelofelijk moeilijk om tegen je eigen intuïtie (of die van je baas) in te gaan en volledig te vertrouwen op data. Al helemaal als deze het tegenovergestelde bewijst van wat je al jaren lang gelooft en vol vertrouwen toepast.

Zorgen jouw AB testen voor uplift?

Stel: je krijgt een klein budget om te beginnen met CRO en je gaat aan de slag met A/B testen. Na een tijdje heb je meerdere testen uitgevoerd die veel nieuwe inzichten en een significante stijging in omzet hebben opgeleverd. Dan komt het moment dat je het CRO programma wilt uitbreiden met meer mensen, betere tools en dus meer budget…Maar hoe bewijs je dat je winnende AB testen daadwerkelijk hebben gezorgd voor uplifting sales?

Ton Wesseling (managing partner van Online Dialogue) stelde deze vraag tijdens CXL live 2017 aan Karl Gilis (Founder van AGconsult) en Peep Laja (Founder van CXL en CXL Institute).

Karl Gilis – founder van AGconsult

de waarde van croHoe bewijs je dat succesvolle AB testen zorgen voor uplifting sales nadat je ze hebt geïmplementeerd op je website?

Dat is een moeilijke vraag. Vooral als je CRO ziet als een (tijdelijk) project. Je voert een aantal AB testen uit en implementeert de winnaars. In dit geval is de waarde moeilijk te bewijzen. Maar als je CRO ziet als een eindeloos traject, dan zullen er na verloop van tijd duidelijke resultaten te zien zijn. Wat je echter wel kunt doen als je een paar winnaars hebt, is terug gaan naar de oude versie van de pagina of site en deze testen tegenover de nieuwe situatie (met de geïmplementeerde winnaars). Zo kun je op een simpele manier bewijzen dat je aanpak werkt.

Peep Laja – founder van CXL en CXL Institute

Wat is de waarde van croCROHoe bewijs je dat succesvolle AB testen zorgen voor uplifting sales nadat je ze hebt geïmplementeerd op je website?

Ten eerste, als je je tools goed hebt ingesteld, kun je in de data zien dat je vooruitgang boekt. Ten tweede zul je het merken aan je bankrekening. Maar als je een winnaar hebt geïmplementeerd en er gaan zes maanden voorbij, dan is het moeilijk om te zien of de uplift er nog steeds is. Als dit het geval is dan heb je de optie om opnieuw te testen. Natuurlijk kun je er ook gewoon vanuit gaan dat de uplift er nog is (of niet) en doorgaan met het testen van nieuwe dingen. Want de wereld verandert continu. Wat vijf jaar geleden werkte, zal hoogst waarschijnlijk vandaag niet meer werken.

Herkennen jullie dezelfde problemen? En hoe pakken jullie dit aan? Hoe bewijzen jullie de waarde van je geïmplementeerde winnaars?

Reacties (5) Schrijf een reactie

  1. Ik heb een methode uitgewerkt om per A/B test te berekenen wat de impact is op onze winst in de komende 12 maanden die (niet onbelangrijk) door de rest van het bedrijf/management/finance geaccepteerd is. Deze methode is verre van perfect, maar geeft mij mooi wat slagkracht om de impact van A/B testen aan te tonen.

    Onze Finance/BI afdeling stelt budgetten op op basis van al hun voorspellingen (huidige resultaten, concurrenten, marktbewegingen, investeringen etc. etc.). Die voorspellingen zijn op dagbasis en geven mij een baseline voor wat er per website verwacht wordt qua traffic, aantal orders en de gemiddelde winst per order.

    Als ik in een A/B test betrouwbare verschillen zie in CR of AOV (significant, genoeg power etc etc) dan kan ik die plotten op de voorspellingen die er al liggen. Zie ik een AOV stijging van 5%, dan kan neem ik die berekening van het finance team er bij en tel overal 5% bij op. Dat doe ik voor de testperiode zelf zodat ik kan zien hoeveel het runnen van de test zelf heeft gekost, maar ook als voorspelling (range) voor de komende 12 maanden.

    Deze berekening geeft mij de uplift die ik zou verwachten op basis van deze ene test. Vervolgens doe ik daar wat correcties over heen zoals een diminishing effect per maand (2%), correcties voor het significance level, correcties voor een verminderd effect wanneer we het implementeren in andere landen en bouw ik een algemene safety range in. In deze berekening zitten veel (uitgeschreven!) aannames, maar die moeten we doen om tot een bedrag te kunnen komen.

    Alle getallen die hier uitrollen zijn in euro’s winst.

    Natuurlijk weten we allemaal dat we (ook achteraf) niet hard kunnen maken of veranderingen door de A/B test zijn gekomen of door andere (externe) factoren. En het voelt nog steeds wat raar om een dergelijke voorspelling te doen. Maar door dit op te stellen samen met Finance/BI ligt er een “best effort” voorspelling waarmee ik kan aantonen wat mijn team bijdraagt aan de bottomline van het bedrijf.

    Ik kan je vertellen dat het erg goed werkt als je “We zien 3% conversieverbetering in de checkout” kan vertalen naar “Na implementatie zal deze test ons €236K – €454K gaan opleveren”. Dan hebben ineens veel meer mensen interesse in wat je doet ;).

    Beantwoord

  2. Hi Guido, ik heb je template gecheckt en het ziet er heel goed uit. Leuke manier van buy-in krijgen bij je bedrijf en een slimme manier om percentages duidelijk te maken in business impact!

    Maar, zoals je zelf al aangeeft, zitten hier wel wat haken en ogen aan:
    1. Hoezo zou een test een jaar impact hebben? Hoe zorg je ervoor dat BI hiermee akkoord gaat?
    2. Ik neem aan dat het MT van Euroflorist prognoses maakt voor de omzet en winst van komend jaar. Als zij zien dat een bepaald experiment in een jaar een bepaald bedrag moet opleveren – willen zij dit niet dan bovenop de targets plakken of hier iets anders mee doen? Hier zie ik nog wel een valkuil: als je weet wat je gemiddelde omzetstijging per test is na een jaar testen, mag je dan deze stijging toevoegen aan de omzetverwachting voor komend jaar? Anders blijft het bij een fictieve monetaire impact.

    Dit is natuurlijk heel erg op de monetaire waarde van CRO gericht: hoeveel draagt een experiment bij aan de business en hoe kan je dit hard maken? Maar, CRO is meer dan alleen het experimenteren voor meer omzet. Het is ook een filosofie dat data gedreven werken voor betere keuzes zorgt dan onderbuikgevoel.

    Daarom ben ik erg benieuwd of je binnen Euroflorist ook een verandering in de mindset teweeg weet te brengen of hoe je dit tracht te doen.

    Beantwoord

    • Hey Joost, thx voor je bericht!
      1) Mijn natuurlijke charmes hebben hun vruchten afgeworpen denk ik, ze zijn er tenslotte mee akkoord gegaan! Maar inderdaad, dat een test langere termijn effect heeft is 1 van de aannames die er in zit. Ik ga er in de sheet van uit dat – gemiddeld genomen over alle goed uitgevoerde testen – na een jaar 78% van het effect overblijft (2% per maand er af). Zoals bij al deze aannames is het zaak deze bij te blijven stellen op basis van wat we in de praktijk leren.
      2) Prognoses voor winst/omzet zijn er inderdaad (die gebruik ik als basis voor mijn berekeningen). Elk jaar worden de voorspellingen enkele keren tussentijds aangepast op basis van de actuals en verbeterde voorspellingen, waaronder verwachtingen over verbeterde conversies en orderwaardes gebaseerd op de testen die we doen.

      En idd, dit heeft sterke focus op de monetaire kant, maar dat is ook het hele idee van deze sheet. Mijn team werkt dagelijks aan het verbeteren van usability, leren van klantgedrag en het verbeteren van alle onderdelen in de customer journey. Maar om dat beter te kunnen doen hebben we meer resources nodig. En om meer resources te krijgen heb je een goeie business case nodig. En voor een goeie business case heb ik getallen in Euros (of in ons geval: Swedisch Krona) nodig :).

      Die mindset zjin we volop mee bezig. Usability onderzoek delen. Iedereen laten praten met klanten, meeluisteren met klantenservice, deelnemen aan onderzoek, inspiratiesessies met andere bedrijven. Maar ook daarbij zie ik dat het in het overtuigen van een e-commercemanager veel beter helpt om in plaats van “deze test verhoogt je conversie met 5%” te zeggen “als je dit doorvoert verdien je in een jaar 450K”.

      Beantwoord

      • Thanks voor je respons! Leuk hoe je ermee bent, en op een andere manier dan wij dat doen, maar inhoudelijk erg sterk.

        Vanuit Online Dialogue worden we ingehuurd door verschillende bedrijven, die allen op verschillende manieren omgaan met CRO. Wat opvalt is dat alle bedrijven geld als belangrijkste drijfveer zien. De KPI om aan CRO te doen is of het geld oplevert en dus een positieve ROI laat zien. De positieve ROI die jij op een hele slimme manier inzichtelijk maakt. Maar helaas blijft mijn grootste vraag onbeantwoord bij dit artikel:

        Hoe zorg je ervoor dat de main KPI niet meer een positieve ROI is, maar regret? Regret over het aantal experimenten dat je had kunnen draaien en niet gedraaid hebt.

        Dit heeft natuurlijk met maturity te maken en met volumes van de organisatie. Maar hoe zorg je daarvoor, dat iedereen evidence-based manier van werken gaat implementeren en gaat experimenteren?

        Any thoughts, anyone?

Geef een reactie

Verplichte velden zijn gemarkeerd met een *.