KPN.com test meerdere homepages


 door 

Zojuist tijdens een bezoek aan KPN.com kwam ik tot de ontdekking dat KPN een A/B/n test houdt op de homepage. Vaak zie je als bezoeker niet dat een website bezig is met een test. Hierdoor kan je tijdens een test ook geen voorspellingen doen (als buitenstaander) over een eventuele uitkomst van de test. Op dit moment is dat bij KPN.com wel mogelijk (aan het adres van de pagina is af te lezen dat je op een paginavariant belandt). Het lijkt me daarom leuk (en wellicht ook leerzaam) om samen de testpagina’s te bekijken en te voorzien van commentaar.

De huidige homepage

Variant A

Variant B

Variant C

Evaluatie

De variaties wijken inhoudelijk weinig af. Het zijn startpagina’s waarop je als bezoeker aan kunt geven of je een bepaald onderdeel als ‘homepage’ wilt gebruiken bij een volgend bezoek aan KPN.com (“volgende bezoek bij Prive starten”). Wat ik bijzonder vind is dat je als bezoeker, nadat je bijvoorbeeld ‘Privé’ als homepage hebt aangegeven, niet meer terug kunt keren naar de pagina waar je op zat (de startpagina variant). Hierdoor is het lastig om een eerder gemaakte homepage keuze ongedaan te maken. Ik vraag me dan ook af wat het nut is van deze test. De enige conclusie die ik kan trekken is dat KPN het nut van een startpagina test (en de globale opzet daarvan). Een hypothese zou kunnen zijn dat veel mensen de startpagina zo prettig vinden dat zij niet aangeven dat zij een andere pagina (Privé, Zakelijk of over KPN) als startpagina zouden willen hebben. Uitkomst van deze test zou kunnen zijn: een startpagina werkt beter om bezoekers op weg te helpen binnen de site.

Wat is jullie mening over deze test? Zinvol of niet? En welke variant (of huidige homepage) zal het best werken? En waarom?

Vind meer artikelen over:

13 reacties


Deze test zal inzicht geven in de verdeling van bezoek; vooral consumenten, vooral zakelijk of 50/50 (voor zover dit niet al bekent is bij KPN). Gezien het overzicht en de rust op de testpagina’s, verwacht ik dat ze beter werken. Ben wel erg benieuwd naar het precieze doel van de test.


Mijn vermoeden is dat Variant A de best presterende variant zal zijn. De lijstjes werken voor mij het best als ik een keuze moet maken. Ik vraag me nog wel af of dit ook daadwerkelijk een nieuwe homepage zal worden of dat deze test enkel bedoeld is om inzicht te krijgen zoals Bertwin ook schrijft.


@Bertwin: Het lijkt me dat KPN dat, zoals je zelf aan aangeeft, wel weet. Op z’n minst uit de statistieken van de verschillende onderdelen. Zakelijk zal zakelijk bezoeken.

Ik dacht trouwens even dat er een foutje zat in deze testen, want in de zoekbalk staat ‘type zoekterm’, terwijl de gebiedende wijs van typen toch echt typ is. Ik zie echter dat dit op de huidige homepage ook het geval is!

Overigens denk ik inderdaad dat A het het beste zal doen, door de gedwongen keuze. Daarbij oogt het lekker rustig.


@Daan: Je mag inderdaad verwachten dat KPN netjes inzicht heeft in het soort bezoek. Vraag blijft: wat is het doel van de test?
Als doorklikken naar een willekeurige, achterliggende pagina het doel is, dan zal pagina 1 waarschijnlijk inderdaad het beste werken, ivm het overzicht..
Iemand van KPN die meer over de test kan/wil/mag vertellen?


Ook ik ben van mening dat variant A het beste zal scoren omdat alles duidelijk en overzichtelijk gepresenteerd wordt en men alle opties te zien krijgt.

Wellicht dat deze test inderdaad gedaan wordt om te kijken wat de percentages zijn voor de verschillende onderdelen. Al neem ik aan dat een bedrijf als KPN wel weet uit statistieken van de site en klantgegevens moet weten wat de verdeling is ;) .

Uiteraard zou men ook kunnen testen of bezoekers liever met dropdowns werken of met overzichten

Ook ik ben benieuwd of iemand van KPN meer kan vertellen.


Persoonlijk vind ik versie B prettiger omdat deze op mij iets rustiger overkomt. Versie A laat wel mooi alle subcategorieën zien, maar schrikt daardoor misschien bezoekers ook af. Zóveel keuzes! Ik verwacht overigens wel dat bij versie B vooral op hoofdcategorie geklikt zal worden en niet op een van de subcategorieën.


Ik moet zeggen dat ik huidige website erg druk vind. Variant A vind ik een stuk rustiger ogen en daar is het onderscheid tussen de verschillende mogelijkheden een stuk duidelijker. Ook ik ben er van overtuigd dat variant A de winnaar gaat worden. Als ik zelf naar de website ga krijg ik variant C, en die vind ik persoonlijk leeg en vind de dropdown vervelend.


Variant A vind ik veruit de beste, vooral omdat je in 1 oogopslag kunt zien wat je nodig hebt zonder een extra handeling uit te voeren. Enige grote nadeel vind ik die tag-clouds, hiervoor heb ik een grote allergie: Dat is zo’n typische seo-functionaliteit die te veel aandacht opeist in de pagina. Het maakt de pagina onrustig en minder prettig om naar te kijken. Mijn ogen scannen de woorden wel, maar ik gebruik de functionaliteit eigenlijk nooit.


Ik zou ook voor optie A gaan, vooral omdat daar het proces van de bezoeker het meest logisch is verwerkt. Als bezoeker wil je, volgens mij, een informatiebehoefte zo snel mogelijk beantwoord krijgen.

Ik krijg hier zelf de B variant en ik zit telkens door die ‘cookie’ vragen te denken of ik wel terug wil komen. De onduidelijke lijst van B en de dropdownboxen van C helpen naar mijn idee niet mee in het eenvoudig maken van een keuze als je op de site van KPN zit.


Beste WEBanalisten, superleuk om jullie reacties te lezen op de ABCD-test die loopt op KPN.com. Aanleiding voor de test zijn recente klantonderzoeken waaruit bleek dat de meeste bezoekers behoefte hebben aan een rustig overzicht, met duidelijke bewegwijzering bij aanvang van hun bezoek.
Uit het kwalitatieve onderzoek kwam A naar voren als winnaar, varianten B en C zijn toegevoegd om met zekerheid vast te stellen dat A de beste is.
Bij het bepalen van de beste variant wordt gekeken naar meerdere zaken. Snapt de bezoeker wat we bedoelen?(o.a. Bounce Rate, Time spent), Hoe gebruikt de bezoeker de site? Maakt hij gebruik van de shortcuts? (o.a. clickthrough) en Welke variant converteert het beste? (Verkoop: aantallen verkoop; Service: vragen goed beantwoord). Binnen KPN.com is ook een poule opgezet welke variant de winnaar wordt, daar scoort de oude homepage nog steeds het hoogst! Oude liefde roest niet!)).


@Mark: Dank voor de reactie, goed om dit vanuit jullie te horen.


Interessante discussie, maar mijn grote vraag is: Wat is het succes moment?
Mark geeft aan dat gekeken wordt naar Bounce rate en Time spent om succes te kunnen toekennen aan het feit of de bezoeker snapt wat bedoelt wordt. Maar hoe wordt de vertaalslag van een bepaalde bouncerate en/of time spent geoperationaliseerd naar “snappen”?
Welke variant het beste converteert lijkt mij het meest geschikt in dit geval.

Maar begrijp ik het goed dat de test opgezet is, zonder eenduidig doel (succes moment) voor ogen? Lijkt me lastig hypothesen opstellen en testen. En een lastige aanpak om de test te ontwerpen en de pagina’s.
Wat voor een bezoeker het beste/mooiste/handigste is blijft subjectief. Wil je met je testen iets aantonen, moet mijns inziens een duidelijke objectieve maat aan de test gehangen worden om de winnaar aan te kunnen wijzen.

Maar dan even mijn algemene indruk van de varianten: vanuit usability oogpunt denk ik dat voor de pagina welke voor bezoekers het beste scoort op usability en user experience, ik me aan ga sluiten bij de KPN-ers. Ook al oogt de pagina rommelig, met deze variant kunnen bezoekers wel makkelijker een conceptueel model vormen van de website. De andere varianten is een opsomming van links, waarin veel overlap zal zijn. Zo werkt de homepage eigenlijk als een ‘extra deur’ die geopend moet worden. En voor bezoekers 1 groot raadsel hoe de website in elkaar steekt.

Gezien de algemene inzet van de a/b/n test zou ik het succes ook subjectief meten, door mini surveys op de diverse pagina’s. 2 a 3 vragen moet voldoende zijn.

Succes en ik ben erg benieuwd naar de resultaten!!


@mark een vraag over de reden om met een ab test te werken. Uit kwalitatief onderzoek bleek al dat A de voorkeur heeft, waarom deze niet testen tegen de bestaande versie (of zelfs meteen doorvoeren) om daarna deze versie te optimaliseren middels multi variatie testen? De uitkomsten van je huidige AB test geven alleen aan dat een bepaalde versie wint, waarom is niet te achterhalen (anders dan uit dat zelfde kwalitatieve onderzoek). Bij het multivariatie testen (waarbij je, in dit geval, met elementen varieert van 1 versie) leer je wat de interactie effecten onderling zijn en wat nu echt zorgt voor meer conversie. Daarbij zul je zien dat bepaalde elementen op bepaalde dagen en tijdstippen onder en over presteren (de beste pagina is niet constant dezelfde).

Hoe ziet je vervlogtraject er uit?

Plaats een reactie | Houd u op de hoogte van reacties via e-mail

* Verplicht in te vullen

Houd mij op de hoogte van nieuwe reacties. Of abonneer jezelf op deze discussie zonder te reageren.

Door:

Als zelfstandig ondernemer ben ik in te huren voor verschillende type opdrachten. Ik heb zowel leidinggevende als inhoudelijke ervaring. Ik heb bij SNS de afdeling Front End Ontwikkeling (10+ fte) opgericht en ruim twee jaar leiding gegeven...

  • Aantal woorden: 303

  • Aantal tweets: 1

  • Aantal reacties: 13

Nieuwsbrief

Voortdurend op de hoogte van het laatste analytics en optimalisaties nieuws met onze nieuwsbrief!

Gebruik je al eSurveysPro?

Lees meer over eSurveysProAangeboden door AboutAnalytics