Novus Parallellstudie 2012 – urvalsmetodiken gör stor skillnad
Novus har genomfört Sveriges största jämförande studie mellan olika publika webbpaneler och telefonintervjuer. Ca 8000 intervjuer har totalt genomförts. Samma frågeformulär har besvarats i 6 paneler och 2 telefonurval. Slutsatsen av denna studie är att det finns skevheter i självrekryterade paneler vad gäller åsikter, beteende samt i viss omfattning även grundläggande demografi.
Ca 8000 intervjuer har totalt genomförts. Samma frågeformulär har besvarats i 6 paneler och 2 telefonurval. Denna studie innebär att vi kan identifiera skillnaden mellan öppna och slutna paneler.
Slutsatsen av denna studie är att det finns skevheter i självrekryterade paneler vad gäller åsikter, beteende samt i viss omfattning även grundläggande demografi.
De drivkrafter som ligger bakom att gå med i en öppen panel medverkar till potentiellt lägre kvalitet i svaren, stimulerar proffstyckare samt resulterar i en överrepresentation av grupper med extrema åsikter. Novus slutsatser finns sammanfattade i rapporten ”Novus Parallellstudie”.
För att analysen ytterligare en dimension har Novus anlitat analysföretaget ZecoByte. Med hjälp av sin metod SQCT kan de verifiera innehållsmängden i svaren, exempelvis fånga upp slentrianmässiga svar och ranka innehållshalten i dessa. ZecoBytes analys genomfördes på anonymiserad data där uppgiften var att värdera kvalitén i respektive panels svarsdata. De hade ingen information om uppbyggnad eller annan form av ledtrådar för att kunna lista ut panelens utformning. Utifrån detta rangordnade ZecoByte de olika panelerna efter mängden utvinnbar information.
Deras analys visar tydligt på stora skillnader mellan de två olika typerna av paneler. De slumpmässigt rekryterade panelerna hamnade i topp, medan de självrekryterade panelerna hamnade under deras så kallade kritiska gräns (se ZecoBytes rapport).
”Det är kul at vi fick möjlighet att testa SQCT på denna typ av uppdrag. SQCT är utvecklat för att kunna kontrollera kvalitet i en panel, och att vi här påvisar så pass stora skillnader i en unik jämförande studie är kul. Normalt jobbar man med en individuell panel, men att här jämföra flera olika och kunna påvisa dessa skillnader är något unikt”, säger ZecoBytes VD Akoo Hematbolland ZecoBytes.
Undersökningen visar också att det är korrekt att göra en uppdelning mellan slumpmässigt och självrekryterade paneler. De egenskaper som vi här identifierar visar att rekryteringsmetoden har en stor påverkan för utfallet i undersökningarna. Detta gäller inte bara undersökningar som presenteras i media. En majoritet av de undersökningar som idag genomförs är tänkta att ligga till grund för olika typer av beslutsunderlag. Dessa beslut måste fattas på korrekta undersökningar. De skillnader vi går igenom här är genomgående oavsett typ av undersökning, även t.ex. reklamkännedom och produktmätningar riskerar att bli felaktiga på samma sätt som en mätning som görs med syfte att publiceras.
Om webbpaneler
Novus panel är en stängd slumpmässigt rekryterad panel, med en demografisk uppsättning som motsvarar den svenska populationen bland annat avseende kön, ålder och geografi. Studien bekräftar att detta är det säkraste sättet att få ett resultat som motsvarar svenska folkets åsikter. En öppen panel, där de som önskar självmant söker sig till panelen, ökar risken för snedvridningar på ett sätt som inte är önskvärt, och dessutom oförutsägbart. Man riskerar därmed att få ett svar som inte är representativt för svenska folket.
Kontakt:
Mikael Ohlsson, Kvalitetsansvarig Novus
Torbjörn Sjöström, VD Novus
Akoo Hematbolland, VD Zecobyte
Läs hela rapporten Novus parallellstudie här