Positiebepaling in Google Analytics: werkt het?

regiotargeting.gifDit is een vraag die wij en vele andere webbeheerders graag beantwoord zouden willen hebben. Daarom heeft onze collega Rick Zomer een onderzoek gedaan naar de betrouwbaarheid van de positiebepaling in Google Analytics. Het is leuk om te zien welk gebied of plaats belangrijk is voor je site, maar dan moet je wel zeker weten dat de data betrouwbaar is.

We hebben een kleine enquête rondgestuurd waarin we gevraagd hebben naar de actuele plaats waar men zich op dat moment bevond. Om een statistisch betrouwbare uitspraak te kunnen doen met een foutmarge van 5% moesten er bij 6 miljoen Nederlandse huishoudens minimaal 385 enquêtes ingevuld worden. Uiteindelijk hebben we 428 ingevulde enquêtes in de database staan.

De betrouwbaarheid van de positiebepaling hangt nauw samen met de contracten die Google met de ISP´s heeft. De ISP´s leveren lijsten aan met IP adressen en hun bijbehorende locatie. Des te meer samenwerkingsverbanden Google heeft en des te vaker de lijsten geüpdate worden, des te betrouwbaarder de lokatie bepaling. Niet alle ISP´s werken mee, en IP adressen willen nog wel eens wisselen per pc, dus een betrouwbaarheid van 100% is onmogelijk. Op dit moment claimt Google een betrouwbaarheid van 80% te hebben.

De resultaten voor plaatsbepaling op plaatsen

We hebben de ingevulde enquêtes ook doorgemeten met Google Analytics. Hiermee konden we met een op maat gemaakt filter het volgende rapport naar boven halen (de waardes die je ziet zijn de ingevulde waardes met daarnaast de plaats die Google Analytics er bij vond):

combidata.png

Deze lijst hebben naar Excel gehaald en daar per bepaling gekeken of hij juist was. Plaatsen die exact overeen kwamen of maximaal 10 kilometer verder lagen golden als een goedkeuring. Daaruit ontstonden de volgende cijfers:

63% van de plaatsen werden goed bepaald
37% van de plaatsen werden niet goed bepaald

Als we vervolgens Amsterdam uit de resultaten halen komen we iets betrouwbaarder uit. Veel IP adressen zitten technisch gezien in Amsterdam, wanneer Google dus geen gegevens heeft van een IP adres wordt hij veelal aan Amsterdam toegekend. In de andere gevallen waar geen goede plaatsbepaling gedaan kon worden gaat het dus om verouderde lijsten van de ISP´s. Resultaat:

66% van de plaatsen werden goed bepaald
34% van de plaatsen werden niet goed bepaald

De resultaten voor plaatsbepaling op provincies

Vaak worden er analyses gedaan voor bepaalde provincies en niet zozeer voor specifieke plaatsen. We hebben dus ook gekeken wat de betrouwbaarheid is puur per provincie bekeken. Dit is direct al een flink stuk dichterbij Google´s statement van 80%:

77% van de provincies werden goed bepaald
23% van de provincies werden niet goed bepaald

Conclusie

Zoals eerder gezegd: 100% betrouwbaarheid is praktisch onmogelijk, maar het streven hier zo dicht mogelijk bij te komen is een mooi doel. Daar liggen ook nog zeker kansen voor Google. Daarnaast mag gezegd worden dat de positiebepaling bij provincies met een 77% betrouwbaarheid goed genoemd kan worden. Wat is jullie ervaring?

Reacties (12)

  1. Idem,

    Klopt niet perfect, maar google komt in de buurt. In USA heb ik ooit gelezen dat ze een nauwkeurigheid hebben van ca. 85%.

  2. Een leuk onderzoek André en interessante gegevens. Wat ik mij bij het lezen over dit onderzoek al direct afvroeg, was hoe dit toepasbaar is bij Google Adwords locatie targeten.
    Even er vanuit gaan dat Google Analytics en Google Adwords een gelijkende locatiedatabase gebruiken, lijkt het mij interesssant om te weten hoe betrouwbaar de gegevens per provincie zijn. Zoals je al aangaf geven veel providers standaard Amsterdam aan. Maar hoe zit dat in Brabant? Of Utrecht? Is het ook mogelijk om daar zinnige/betrouwbare uitspraken over te doen?
    Wat ik hiermee bedoel is het volgende:
    Is het voor een winkel in Eindhoven zinniger om op locatie/provincie targeten, dan een winkel in Zwolle? Hoeveel mogelijk bezoek loop je hierdoor mis of hoeveel bezoek uit de verkeerde regio krijg je erbij?

  3. @Bjorn: voor de vragen die jij stelt zijn er simpelweg meer ingevulde enquêtes nodig. Landelijk gezien kunnen we statistisch onderbouwde uitspraken doen. Maar als we dit per provincie willen doen moeten we per provincie een flink aantal enquêtes hebben.

  4. Leuk onderzoek! Eigenlijk zouden we de webanalist van Marktplaats moeten vragen of hij ook zo’n analyse zou willen uitvoeren. Daar wordt veel op postcodes gezocht, die data kan je dan weer mooi combineren met de locatiedata van Google. Alhoewel dat natuurlijk ook weer niet 100% betrouwbaar is… ik zoek ook vaak vanaf postcodes op Marktplaats waar ik eigenlijk fysiek niet ben.

  5. Ben zelf erg nieuwsgierig nar de nauwkeurigheid van Google locatie bepaling wanneer je voor Google onbekende adressen (Amsterdam) + de grotere corporate organsaties (die vaak ipnummer hebben van locatie hoofdkantoor) er uit haalt. Dan moet men toch snel naar die 80%, of misschien wel 90% gaan. En dan natuurlijk de vraag of deze bepaling beter is dan de standaard beschikbare ip databases van bijvoorbeeld maxmind.com of ip2country / ip2location. Misschien een idee op 1 van deze tools (de beste?) eens te installeren en tegelijk mee te laten draaien in de Google test?

  6. Ik kan op basis van de ISP gegevens in Analytics de bedrijven er redelijk uit filteren. Ik zal eens kijken wat dat oplevert.

    /edit
    Bij nader inzien is dit niet goed te doen en kost het me nu te veel tijd. Maar ik denk inderdaad dat je richting de 90% gaat wanneer je bedrijven buiten beschouwing laat.

    Is het trouwens niet zo dat grote bedrijven met 1 verbinding steeds minder worden? Volgens mij krijgt tegenwoordig elk pand zijn eigen verbinding met het internet.

  7. Andre, mooi en nuttig onderzoek, thanks. Wat ik nog een beetje “mis” 😉 is de lijst met namen waar de geotargeting wel meer dan 90% accuraat is, want dat je het in Amsterdam beter niet kunt doen is helder. Maar ik kan me erg goed voorstellen dat er plaatsen of provincies zijn die toevallig bijna altijd perfect matchen, en als jij daar zit met je bedrijf kun je met een gerust(er) hart geotargeten.

    Of is de onbetrouwbaarheid niet makkelijk aan plaatsen te koppelen (behalve Amsterdam)?

  8. Wij hebben ook google analytics maar vanuit Noord Brabant geeft het de meeste bezoeken uit den bosch weer ook als wij zelf op onze site kijken geeft het deze niet weer op de juiste plaats, weet iemand hoe dit komt? Geeft analytics alleen de bedrijven aan als bezoekers of ook particulieren?

  9. oke bedankt, dan is analytics voor ons niet betrouwbaar genoeg 🙁

Reacties zijn gesloten.