pre-valideren

Meer succesvolle A/B-testen door pre-valideren?

Online experimenteren kost tijd en geld, daarom willen we graag goede experimenten doen. Het probleem is dat we vooraf niet weten of het idee dat we willen testen het juiste idee is. Het voordeel van werken in een online wereld is dat er meerdere bronnen (data onderzoek, user testen, etc.) zijn waardoor we kunnen inschatten of onze ideeën potentie hebben. Wij zijn bij Online Dialogue de laatste tijd veel bezig met pre-valideren van ideeën door middel van notificaties. 

Pre-valideren  

Pre-valideren is het op een zo makkelijk mogelijke manier onderzoeken of de A/B-test een positief effect zal hebben. Op deze manier kunnen we met minimale effort de kans vergroten dat het echte experiment een succes zal worden. Pre-validatie wordt veel gebruikt in de medische en farmaceutische wereld. Patiënten krijgen bijvoorbeeld een lichte dosis medicatie om te zien of het medicijn het gewenste effect heeft voordat de voorgeschreven dosis wordt toegediend. 

Het voordeel van pre-validatie is dat het onnodige kosten kan besparen omdat je je experimenten van te voren al prioriteert op potentie. Op deze manier verhoog je de ROI per A/B-test.

Pre-valideren als input voor je prioritering

Pre-valideren kan op allerlei verschillende manieren. Let wel, we willen dat de onderzoeken kwalitatief zo hoog mogelijk scoren op de ‘hierarchy of evidence’ (zie onderstaande afbeelding). Hoe hoger het onderzoek in de ‘hierarchy’ staat hoe groter ons vertrouwen dat de gevonden resultaten ook daadwerkelijk waar zijn.

pre-valideren

Een voorbeeld van een pre-validatie is aan een voorbijganger vragen wat hij mist op een pagina. Maar een A/B-test met meer dan 1000 conversies is ook een pre-validatie. Waarschijnlijk kun je zelf ook al wel inschatten dat de vraag aan de voorbijganger lager scoort dan de A/B-test op de ‘hierarchy of evidence’. Mochten de voorbijganger en de A/B-test op hetzelfde wijzen, dan versterk dit je pre-validatie. Oftewel, meer redenen voor jou (en je manager) om dit experiment uit te voeren!

Notificaties als pre-validatie

Momenteel gebruiken wij veel notificaties om te pre-valideren. Dit is een simpele methode waarbij we een stukje code over de site heen leggen. Het enige wat we doen is een notificatie in beeld schuiven en weer laten verdwijnen. Het voordeel hiervan is dat het weinig development capaciteit kost, het snel geïmplementeerd kan worden en we geen rekening hoeven te houden met het huidige design van de website. Daarnaast zijn we er vrij zeker van dat bezoekers de melding zien (het beweegt) en in het stukje tekst zijn we in staat om een (psychologisch) principe te testen. 

Vooralsnog gaan we er vanuit dat als een pre-validatie een positief effect heeft, de kans groter is dat we ook een positief effect zullen vinden in onze A/B-test.

Door op deze manier te werken kunnen we onze testcapaciteit optimaal benutten om goede ideeën te testen en minder goede ideeën op voorhand te elimineren. Om uiteindelijk het aantal succesvolle experimenten te vergroten. 

Pre-valideren in ontwikkeling

Uiteraard is er binnen deze methode ruimte voor ontwikkeling die ik graag verder wil onderzoeken. Bijvoorbeeld, als je pre-validatie negatief is, stopt je onderzoek dan? En in hoeverre kan een pre-validatie de uitkomst van je A/B-test voorspellen, aangezien een bewegende notificatie wellicht een hele andere ervaring geeft dan een statische design aanpassing? Kortom, genoeg om mee aan de slag te gaan. 

Gebruik jij pre-validatie methodes om je testideeën van tevoren te toetsen? Ik vind het hartstikke interessant om jouw ervaringen te horen. 

Reacties (6) Schrijf een reactie

    • roos.van.dam@onlinedialogue.com'

      Hi Stephan, dankje voor de vraag! Wij hebben Smart Notifications gebruikt, zie: https://www.smartnotifications.com/ En zijn ontzettend veel voorbeelden te benoemen. Met dit soort notifications kun je op een eerder moment in de customer journey al wat vertellen over het betaalproces om zekerheid te verhogen. Door bijvoorbeeld een notificatie in te richten zoals: “op de volgende stap kun je betalen via ideal”. Of bezoekers overtuigen van het merk, door een positief weetje over de merk te uiten: “Al 50 jaar de beste in . Door dit in een A/B-test vorm te testen met heldere KPI’s kun je zien wat de notificatie doet met gedrag.

      Beantwoord

  1. gjbrugman@gmail.com'

    Als concept lijkt me pre-validatie interessant. Helemaal goed begrijpen na het lezen van dit artikel doe ik het niet. “Mochten de voorbijganger en de A/B-test op hetzelfde wijzen, dan versterk dit je pre-validatie. Oftewel, meer redenen voor jou (en je manager) om dit experiment uit te voeren!” –> Ik dacht dat de A/B-test het experiment is.

    Ook het concept van notificaties is mij onduidelijk. Zou graag een voorbeeld zien van een notificatie.

    Beantwoord

    • roos.van.dam@onlinedialogue.com'

      Hi Robert, dankjewel voor je bericht! Voorbeelden van de notificaties kun vinden op https://www.smartnotifications.com/.

      Een A/B-test is absoluut een experiment. Maar op het moment dat je een optimalisatie programma hebt en heel veel experimenten doet ga je ook leren van je experimenten. In dat geval ben je wekelijks nieuwe experimenten aan het opzetten. Dan wil je liever een nieuw experiment (A/B-test) opstarten als je al bewijs hebt dat je in de goede richting aan het testen bent een eerder winnende A/B-test dan een onderbuik idee zonder bevestigende data.

      Maakt dat het duidelijker?

      Beantwoord

      • gjbrugman@gmail.com'

        Dank voor je antwoord.
        Helaas doet smart notifications het niet meer…
        ” Smart Notifications is deprecated
        Per July 2019, Smart Notifications is deprecated and this service is closed for new customers. Existing users can continue to use the platform until end of 2019.”

  2. eazljerp@sharklasers.com'

    Pre-validatie klinkt logisch en interessant alleen ik mis de verdieping en concrete uitleg. “Momenteel gebruiken wij veel notificaties om te pre-valideren. Dit is een simpele methode waarbij we een stukje code over de site heen leggen”. Dat is hoe je het doet niet wat het doet of laat zien.
    Even naar de werktafel!

    Beantwoord

Geef een reactie

Verplichte velden zijn gemarkeerd met een *.