Webanalist… it´s a dirty job!


 door 

´Hoe betrouwbaar is die data?´ ´En klopt dat wel?´ Vaak de eerste vragen die vanuit de organisatie aan de webanalist worden gesteld over gerapporteerde websitestatistieken. Niet de vragen over de gevonden inzichten waarop we eigenlijk zaten te wachten. En als we dan eerlijk antwoorden, dan moeten we eigenlijk erkennen dat de verzamelde data in oorsprong vrij onbetrouwbaar is. De kwaliteit van webanalyticsdata, of beter gezegd het ontbreken hiervan blijft een punt van voortdurende discussie (zie ook: ´Hoe betrouwbaar zijn website statistieken?’ of ´Van webanlyticspakket wisselen zonder ontslagen te worden´) Sturen we nog wel op gedegen analyse of krijgt de gokfactor steeds vaker de overhand? En wat is de rol van een webanalist in deze?

Data quality sucks, let´s just get over it!´

Verschillende webanalyticspakketten geven andere resultaten, klikgegevens van mediabureaus en ´bannerboeren´ komen nimmer overeen met de zelf geregistreerde data en gemeten conversies matchen niet met de daadwerkelijke kassa-aanslagen. Webanalisten hebben in het gevecht tegen de techniek de handdoek eigenlijk al lang in de ring gegooid, quoten desgevraagd Goeroe Avinash; ´Data quality sucks, let´s just get over it!’, proberen te redden wat er te redden valt (´Make data quality suck less’) en hebben een tas vol munitie paraat om de belangrijke schuldvraag af te slaan:

  • Comparing Web Logs vs. JavaScript driven tools
  • First & Third Party Cookies (configuration and deletion)
  • Imprecise website tagging
  • Differences in definitions of Key Metrics
  • Differences in sessionization
  • URL Parameter Configuration
  • Campaign Parameter Configuration
  • Data Sampling
  • Order of the Tags
  • Non human traffic (Spiders & bots)
  • Javascript turned off
  • Latency (pagetag failed to load)
  • No referrer passed
  • Proxies
  • Failure to maintain exclusions and filters
  • Not storing all dynamic URL´s
  • Storing only visit level data
  • No decodes of lookups
  • Met dank aan: Avinash Kaushik & Judah Phillips

    Consequent onbetrouwbaar

    Bovenstaande, nog onvolledige, lijst illustreert dat een 100% accurate en betrouwbare meting een utopie is en de steeds geavanceerdere webtoepassingen, browsers en internettoegangspoorten geven in dat kader ook niet veel vertrouwen voor de toekomst. Maar wat betekent dat voor de geloofwaardigheid van de webanalist binnen een organisatie? Is die eigenlijk nog wel te vertrouwen? Hij/zij is toch in grote mate afhankelijk van deze vervuilde data. Wordt het online kanaal dan wel de juiste richting in gedirigeerd? Een webanalist zal bovenstaande vraag pareren door in een dergelijk geval te melden dat de verzamelde data verre van nutteloos is omdat een goede webanalytics-inrichting zo opgezet is dat deze in ieder geval wel ´consequent onbetrouwbaar´ is en daarmee trendanalyse uitstekend mogelijk maakt.

    Toch blijft het knagen dat je er als analist eigenlijk niet aan ontkomt om nog steeds een (te) groot deel van je tijd te besteden aan het zoeken naar en  ´goedpraten´ van afwijkingen tussen de diverse bronsystemen. De resultaten van de eigen verzamelde data en de rapportages van mediabureaus verschillen vaak zo erg dat een campagneanalyse eerder uitmondt in een ordinaire ´welles nietes´ discussie over het succes, dan in een op harde cijfers beargumenteerde ´geen-speld-tussen-te-krijgen´ vertelling, wat een webanalytics-analyse veronderstelde te moeten zijn. En als vervolgens de balans in gemeten conversies en daadwerkelijk verzonden bestellingen ook nog eens afwijkt, heeft de argwaan zich definitief meester gemaakt van je publiek. Je komt terecht in een negatieve spiraal waarbij de hele online data-analyse in het ogen van buitenstaanders op een fundament van los zand rust, daarmee danig aan kracht inboet. Het gevolg daarvan is dan weer dat het draagvlak van de webanalist en zijn/haar adviezen er niet breder op wordt. Niet echt de functieomschrijving van een droombaan.

    Vertrouw het onbetrouwbare?!

    Maar hoe moeten we deze negatieve spiraal nu doorbreken? De vele artikelen die over dit onderwerp zijn verschenen zeggen eigenlijk allemaal één ding. En dat is dat we toch vooral moeten accepteren dat we structureel en consequent rapporteren op basis van ´stinky´ data en simpelweg moeten vertrouwen dat de hoeveelheid verzamelde gegevens uiteindelijk een goede en significante afspiegeling is van de trend. Makkelijker gezegd dan gedaan, want hoe leg je aan je baas ´slash´ geldschieter uit dat ondanks de wel haast onbeperkte mogelijkheden van de hedendaagse webtechnologie én ondanks de jaarlijkse investering van vele tienduizenden Euro´s in webanalysetools we er eigenlijk niet in slagen om gegarandeerd accuraat te monitoren?

    weneedyou.jpgVoordat de geldkraan steeds langzamer gaat druppelen en voordat het gezag van ‘De Webanalist’ definitief wordt ondermijnd is het misschien nu wel tijd voor actie. Webanalisten aller landen verenigt u!! Gaan we nog eenmaal onze loopgraven verlaten en met een ultiem ´shock and awe´ offensief trachten de technische mitsen en maren voorgoed te verslaan? Of wachten we op het ondergrondse verzet van enkele dapperen die langzaam stukje bij beetje de IT beperkingen omver gooien?

    Aangezien geweld nooit de oplossing is zullen we waarschijnlijk nog wel even aan de onderhandelingstafel blijven aanschuiven om uit te leggen dat de verzamelde data nou eenmaal een naar luchtje met zich meedraagt, daardoor niet minder waardevol is en dat we er echt alles aan doen om het minder te laten ruiken. Dat we zelfs in deze onzekere tijden moeten blijven investeren in tools en dat deze oorlog alleen maar gewonnen kan worden als ook het  peloton webanalisten aan het bedrijfsfront versterkt blijft worden.  Zij zijn het immers die in deze bange dagen de enigszins vervuilde internetdata oppoetsen om deze alsnog de gewenste glans geven! It´s a dirty job, but someone´s gotta do it!!

    Ik ben benieuwd naar jullie reacties, ervaringen en oplossingen. Lachen we over een paar jaar om de  problemen van nu of liggen we dan nog steeds onder vuur in onze loopgraven en is het nu de tijd om een (inter)nationale troepenmacht te mobiliseren?

    5 reacties


    Leuke post. Heel herkenbaar!
    Tijd voor actie, pak jullie fakkels!!

    Remy.


    Vergeleken met offline marketing kanalen is een website 99% beter meetbaar. Niks geen vage praat over ‘brand awareness’. Met web analytics heb je een goede indicatie hoeveel mensen naar je site kijken en wat ze zoal doen. Dat is al HEEL veel meer dan men kan zeggen over de meeste offline marketing acties, waar vaak beduidend meer geld aan uitgegeven wordt.

    Hoe accuraat zijn bijvoorbeeld de TV kijkcijfers? Magazine abonnee aantallen? Het aantal keren dat een billboard wordt gezien?


    Leuk artikel en heel herkenbaar. Ik zie nog wel wat verbeteringen ontstaan op de manier wáárop gemeten wordt (bijvoorbeeld in het CMS + betere checks op request en responses van pagina’s / content), waardoor de data betrouwbaarder wordt (of dat er één standaard ontstaat). Daarnaast denk ik ook dat je zelf ook goed onderscheid kunt maken (samen met je organisatie) in data die je écht accuraat wilt en data waarvan je trends voldoende vindt. De écht accurate data zou ik niet meten (in elk geval niet rapporteren!) vanuit een webanalyticspakket, maar uit een pakket waarin dát geregistreerd wordt wat ook daadwerkelijk verwerkt is.


    Het gaat om trends, reken prestatie gewoon af op datgene wat daadwerkelijk wordt uitgeleverd (of bij branding de info uit naamsbekendheidomderzoeken). Webanalytics heeft als doel het inzicht geven hoe het gaat en daardoor het verbeteren van de website, niet het doel om in en verkoop af te rekenen.


    Interessant weetje: Momenteel is Adversitement, in samenwerking met o.a. TNO, Clickvalue en Netprofiler een onderzoek aan het uitvoeren naar de omvang en oorzaken van de verschillen tussen metingen zoals die hierboven staan omschreven.

    Plaats een reactie | Houd u op de hoogte van reacties via e-mail

    * Verplicht in te vullen

    Houd mij op de hoogte van nieuwe reacties. Of abonneer jezelf op deze discussie zonder te reageren.

    Door:

    Digital analist, Google Analytics trainer en oprichter van de Analytics Agency. Al zo'n 10 jaar werkzaam in het webanalytics vakgebied. Blogger en spreker. Heb over ons prachtige vakgebied mogen spreken op: Emetrics San Francisco,...

    • Aantal woorden: 883

    • Aantal tweets: 2

    • Aantal reacties: 5

    Nieuwsbrief

    Voortdurend op de hoogte van het laatste analytics en optimalisaties nieuws met onze nieuwsbrief!

    Gebruik je al InstantSurvey?

    Lees meer over InstantSurveyAangeboden door AboutAnalytics