In december woedde online een hevige discussie over de onvervulde beloften van web analytics. Aanleiding waren 2 posts van Joseph Carrabis, genaamd, ´The Unfulifilled Promise of Online Analytics´
Hierin presenteert Carrabis de resultaten van een studie die zowel bestond uit interviews met gebruikers als conversaties met specialisten.
De uitkomsten zijn overwegend negatief.
1. Web Analytics software levert inaccurate gegevens en is moeilijk in het gebruik
2. Web analisten spelen een ondergeschikte rol in organisaties
3. Web analytics draagt nauwelijks bij aan de verbetering van online rendement
Een echte verklaring levert Carrabis niet. Wel interessant in de enorm lange posts (bij elkaar ruim 11.000 woorden – 30 X A4) zijn de analyse hoe het zo heeft kunnen komen en wat de mogelijke uitweg is.
Belofte
Web Analytics was in de jaren 2002 – 2008 het vak van de toekomst. De data zou een constante stroom van inzichten opleveren. Die inzichten zouden leiden tot allemaal waardevergrotende initiatieven waarmee organisaties zouden bloeien. Vanzelfsprekend zouden web analisten zich kunnen opmaken voor het pluche van de bestuurskamers.
Analyse
Van al dat zelfvertrouwen is weinig meer over. Carrabis beschrijft Web Analytics als een patiënt met een slechte prognose waarvan bovendien onduidelijk is welke ziekte hij nu heeft.
Als, Als, Als
Deze zwarte conclusie wordt bekrachtigd door uitspraken van analisten waarin ze hun frustraties verklaren met allerlei ´als´ argumenten. ´Als de software correct zou meten´.´Als het management ons serieus zou nemen en onze adviezen zou opvolgen´. ´Als online marketers en content managers wat meer data driven zouden werken´. Als het allemaal anders was dan zou het veel succesvoller zijn.
De verklaring wordt hiermee gezocht bij anderen en in de techniek.
Vaardigheden schieten tekort
Een ander probleem zijn de vaardigheden. Wat moet een analist allemaal kunnen om effectief te kunnen opereren? Analytisch, communicatief, kennis van online marketing, web architectuur, copy writing en web design, wetenschappelijke onderzoeksvaardigheden, statistiek, branche kennis, kennis van bedrijfseconomie en finance, kennis van change management.
Dit lijstje is moeiteloos langer te maken door de meeste betrokkenen in de web analytics wereld. En daar zit nou juist het probleem. Deze vaardigheden zijn niet in één persoon te verenigen. Bovendien is de combinatie vrijwel onhaalbaar in één persoon en al helemaal moeilijk in het profiel van de meeste huidige analisten: HBO+, 30-, starter of doorstarter op de arbeidsmarkt.
Software en systemen beheersen de analist in plaats van omgekeerd
Beheersing van de software en systemen vormt eveneens een obstakel. Een eenvoudige analogie met autorijden illustreert dit probleem. Auto´s hebben een dashboard en een bestuurder kan daarmee prima uit de voeten. De bestuurder komt van A naar B en weer terug. Autocoureurs hebben een vergelijkbaar dashboard, maar met dat dashboard zouden ze geen enkele wedstrijd winnen. Coureurs weten ook exact wat zich allemaal onder de motorkap afspeelt. Alleen door deze domeinkennis kunnen ze excelleren.
De meeste analisten zijn te vergelijken met gewone autobestuurders terwijl iedereen ze ziet als autocoureur. De meeste analisten zien zichzelf vaak ook zo. Toch kunnen veel analisten vaak geen verklaring geven voor grote schommelingen in de data: komt de spike door een test op de server of een campagne? Komt de dip door een concurrent of een missende tag?
Door dit gebrek aan controle gaat veel tijd verloren aan het opzetten van rapporten en het verifiëren van de onderliggende data. Van waardecreatie door analyse en interpretatie is nauwelijks sprake.
Oplossingen
Bovenstaande analyse toont enkele symptomen van de zieke Web Analytics patiënt. Maar een diagnose is moeilijk. Moet de communicatie verbeteren? Moet Web Analytics rijpen en zijn plek vinden in het organisatorische krachtenveld?
Na het lezen van de posts van Carrabis moest ik denken aan de Hype Cycle van Gartner. Het is duidelijk dat Web Analytics zich voor Carrabis bevindt in de ´Through of Disillusionment´.
Carrabis komt aan het einde van zijn laatste post nog met enkele adviezen aan analisten. Deze zouden een stap in de goede richting kunnen zijn op het pad van de verlichting:
- Kom met duidelijke uitspraken en geef altijd richting. Ga je lezers niet inleiden in zaken over onzekerheid of onduidelijkheid. Neem gewoon verantwoordelijkheid voor wat je zegt.
- Analyseer concrete problemen, niet alleen informatieverzoeken. Te vaak wordt gevraagd naar de resultaten van campagne X of actie Y. Het is veel beter om iets op te leveren over de gemiste kansen van campagne X of de low hanging fruit voor actie Y.
- Praat de taal van je managers. Als die denken in ´volume´, praat dan over ´Volume´ en als ze in Euro´s praten, zorg dan dat jouw rapportage om Euro´s draait.
- Beschrijf kansen of oplossingen en verlustig je niet in oneindige analyses van problemen.
Op Web Analisten kunnen we natuurlijk niet stil blijven in deze discussie. Delen jullie de observaties van Carrabis? Zo ja, hoe heeft het zover kunnen komen en wat kunnen we allemaal doen om het pad van verlichting te betreden?
Clickvalue
Daniel Markus is oprichter van ClickValue, een web analytics consultancy organisatie in Amsterdam. Sinds de oprichting in 2003 heeft ClickValue projecten uitgevoerd bij vooraanstaande Nederlandse en Europese organisaties. Specialisaties ...
Lees verder »Nieuwsbrief
Voortdurend op de hoogte van het laatste analytics en optimalisaties nieuws met onze nieuwsbrief!
Gebruik je al Webreep?
Deze User feedback software wordt in Nederland onder andere gebruikt door
Lees meer over WebreepAangeboden door AboutAnalyticsNieuwste reacties
- Leendert: Als ik het nu zo kijk heeft independer dit met de lening site wel aangepast. Ik vind dit een interessante materie. Al...
- Jan de Vries: Dank Michel voor je tip!
- Michel Kompanje: Leuke site om in de gaten te houden is http://visual.ly/. Binnenkort kun je hier op een gemakkelijker manier je eigen...
- Ton Wesseling: @egan dank voor het delen van je gedachten. Die ‘light’ decision-making engine zie ik wel ontstaan bij...
7 reacties
Interessant artikel Daniel. Wat ik echter mis in je adviezen, wat erg gericht is op eenrichting verkeer vanuit de analist, is de pro actieve rol die je als analist moet hebben om jezelf in de organisatie te integreren. Daarmee bedoel ik dat je jezelf bekend maakt en hoeveel van je werk afhangt van onderlinge communicatie over bijvoorbeeld projecten, campagnes, acties, partnerships e.d. Hoe meer je zelf te weten komt en collega’s met je delen, des te beter in staat bent om een uitspraak te doen.
Ik vind dat je gelijk hebt over verantwoordelijkheid nemen van je uitspraken, maar dat is iets wat niet direct kan bij het aangaan van een functie en wat veel openheid van je mede collega’s vergt. Interne informatie gecombineerd met web data kan je kansen vergroten een veilige uitspraak doen.
Laat vooral weten dat je er bent om je collega’s, management te helpen.
Persoonlijk denk ik dat de kracht van web analytics zal zitten in het Multiplicity verhaal van Avinash. In zijn eentje blijft het een krachtig middel, maar samen met andere data en inzichten kan je het pas uit de ‘Trough of Disillusionment’ halen.
Hello and thank you for reading my posts. I appreciate much of what you’ve written and very much like your graphic (although (and I apologize for my poor language skills) I’m not sure if you’re suggesting I’m in the Trough of Disillusionment or I believe the current state of the industry is in the Trough of Disillusionment. Help?)
People are asking me to write a Part 3 and that was never my plan. I’m open to suggestions from you and your readers, however, so please let me know.
Thanks again,
Joseph
Webanalytics zegt niet alles, geeft geen antwoorden. Dat is ook een misvatting. Het is geen doos waar je vragen aan kunt stellen en die haarfijne antwoorden geeft. Althans… nog niet. De adviezen op persoonsniveau zijn op dit punt van toepassing. Je moet als analist zelf helder zijn in je antwoorden, waarbij webanalyticsdata één bron is. Een bron die niet alle antwoorden kan geven op alle vragen over het online kanaal. Daarvoor is meer kwalitatief (gedrags)onderzoek voor nodig, onderzoeken die je met simpele pakketten als Google Analytcs en Omniture SiteCatalyst niet kunt uitvoeren (zij rapen enkel data bij elkaar).
Daarnaast wordt ‘het internet’ (het www) nog teveel gezien als die zwarte doos. Wat eigenlijk wel lekker is. Je online campagnes hoeven (net als je offline campagnes) niet direct een goed resultaat te hebben, want goed meten is immers toch niet mogelijk. En de echte resultaten laten we liever ook gewoon ‘in de doos’.
Vergeet niet dat de mensen die het meest met de data zouden kunnen ook bepalen wat ze wel en niet willen zien (en wat er mee gebeurt).
Internet is in dat opzicht gewoon nog een papieren folder waarbij je aan de hand van de respons (op de folder?) moet weten of je folder goed gewerkt heeft of niet.
Moeten wij als webanalisten strijden om gehoord te worden? Misschien moeten we dat juist niet doen. Kruip in de doos en breng niks naar buiten. Misschien dat mensen dan wél willen weten wat zich in de doos bevindt.
Thanks Joseph for your kind words. With the graph I indicated my impression of the industry being in the Trough of Disillusionment. Nowhere in your posts I got the feeling you are in there yourself.
@Matthew,Ik ben het helemaal met je eens. Wellicht heb ik de (pro)actieve rol van de analist niet genoeg benadrukt in de adviezen. Voor mij is het echter vanzelfsprekend dat je pro-actief moet zijn als je duidelijke richtinggevende uitspraken doet of in de taal van het management spreekt. Als je niet alligned bent ben je namelijk niet te volgen en geef je adviezen die niet actueel zijn.
Multiplicity is natuurlijk een noodzakelijke voorwaarde maar volgens mij geen voldoende. Dit concept gaat namelijk over komen tot goede actionable inzichten. Het is maar de vraag of de analist hiermee een positie in de organisatie verwerft. Hiervoor zal de analist zich moeten verdiepen in de problematiek van het moment en daar pro-actief op moeten inhaken.
@Reinout. Ik ben het niet met je eens (Discussie!) Volgens mij moeten web analisten wel degelijk strijden. Er is immers veel te winnen. “De belofte” zoals geschetst in deze post is immers haalbaar. Bovendien zijn de cases van de “competing on analytics” organisaties volgens mij overtuigend en daarom nastrevenswaardig.
Jij lijkt een soort Gandi-aanpak te propageren; als we passief zijn dan moeten de “anderen” wel reageren. Zoiets kan werken, maar je geeft wel alle regie uit handen.
Bovendien zijn er nog zoveel zaken te veranderen. Neem het heft in handen. Hoeveel analisten zijn er niet die gewoon de informatie geven die ze gevraagd wordt? Daar zit volgens mij het probleem. Dat probleem begint al als iemand bijvoorbeeld vraagt naar de bezoekersaantallen uit campagne X. Dat is typisch het soort vragen waar de “bereik gerichte” marketers om vragen. Zo rechtvaardigen ze hun uitgaven.
Het antwoord op die vraag is nimmer actionable te maken. Als je de vraag dus beantwoordt zonder iets extra’s, laat je een kans liggen op verbetering van de positie van web analytics. Door naast het aantal bezoekers bijvoorbeeld ook iets te melden over kansen op verbetering lever je iets extra’s. Iets wat potentiele waarde heeft.
Als die aanbevelingen worden opgevolgd bestaat de kans dat de marketer volgende keer vraagt om aanbevelingen. Als analist ben je dan van kostenpost (lastpost) geevolueerd in iets waardevols.
wat een belangrijk feit is, is dat webanalisten vaak heel veel van webanalyse afweten, maar niet van business regels. hij / zij zit daardoor op de verkeerde plek, en maakt niet de beslissingen.
Wat voor mij als business manager belangrijk is, is dat ik de metrics die belangrijk zijn voor mijn saleskanaal goed kan meten, en daarmee mijn business beslissingen kan maken.
dat betekent voornamelijk een eenmalig goede implementatie, en op aanvraag rapportage op custom niveau. Een marketingmanager weet wat er gemeten moet worden en hoe dat moet worden opgezet. In ons geval zou een webanalist net niet de business genoeg begrijpen en dus te weinig meerwaarde hebben.
Wij hebben daarom in 2009 besloten om geen full time webanalist meer te gebruiken maar de mensen die operationeel aan het werk zijn (content manager, merchandising manager, sales mensen) zelf verantwoordelijk te maken voor hun metrics, en iedereen verantwoordelijk te houden voor de totale performance. sindsdien weet iedereen ook wat bepaalde KPI’s in de rapportages echt voor zijn / haar rol betekenen.
@wim
Bedankt voor je inzichtelijke bijdrage.
Het klinkt ideaal als alle betrokkenen zelf data-analyses uitvoeren. Je hebt dan een datadriven werkwijze gerealiseerd en dat moet leiden tot goed onderbouwde inzichten en aanknopingspunten voor verbeteringen.
Ben wel benieuwd naar de ervaringen van deze ommezwaai.
1: Hoe ervaren de betrokken operationele medewerkers het dat ze nu zelf de analyses moeten maken? Vinden ze het moeilijk of makkelijk, een verbetering of een achteruitgang?
2: Heeft de ommezwaai de resultaten positief beinvloed? Maken jullie meer winst? Is er nu een snellere en betere besluitvorming of zijn er andere voordelen?
3: Hoe kijk je aan tegen het risico van suboptimalisatie? Als iedere operationele medewerker zichzelf analyseert op basis van eigen KPI’s dan bestaat het risico dat alleen de eigen KPI’s tellen en worden geoptimaliseerd.
Goed inhoudelijke blog en inhoudelijke reacties.
Waar ik vaak het probleem zie zitten is dat de webanalisten wel kennis hebben van de software en hier rapportages uit kunnen halen.
Vaak mist het gevoel met de business/commercie en daardoor het daadwerkelijk kunnen doen van goede aanbevelingen en verbeterpunten voor bijvoorbeeld marketing campagne`s.
Het werk van een analist gaat vele malen verder dan de “Nerd” zijn die een analyse kan draaien uit de beschikbare data.