Vad är representativitet?
Demografisk representativitet är ingen garanti för att åsikterna är det! Sveriges största Facebook-undersökning används som exempel.
Något som ofta nämns i undersökningar är begreppet ”representativt urval”. Inte sällan återfinns en formulering i stil med ”1000 genomförda intervjuer med ett representativt urval (ålder, kön och region) av svenska folket i åldern 18-74 år.”
Vad betyder det?
Jo, att fördelningen i ålder, kön och geografisk spridning hos de tillfrågade motsvarar fördelningen hos svenska folket. Exempelvis är ungefär hälften av de tillfrågade män och hälften kvinnor, en tiondel är stockholmare o.s.v.
Men betyder det att svaren i undersökningen är representativa för svenska folket?
Nej det gör det inte. Det finns inga garantier för att demografisk representativitet betyder att åsikterna är representativa.
Det är relativt lätt at hitta en grupp som stämmer in på ett demografiskt tvärsnitt av alla röstberättigade i Sverige, men samtidigt ändå inte tycker som hela svenska folket.
Om man till exempel skulle gå på ett riksmöte för ett av de större politiska partierna kan man mycket väl finna 1000 personer som utgör ett representativt urval av svenska folket avseende ålder, kön och region, men ALLA röstar på exakt samma parti.
Det är just dessa effekter man riskerar att få på Internet, där de uppenbara ledtrådar som man får i exemplet ovan saknas.
Rekrytera fotbollssupportrar och alla är sportintresserade, men det finns ju fotbollsupportrar i alla åldrar och av båda könen. Vet man inte att gruppen är rekryterad via fotbollsklubbar kan det ge en felaktig bild av svenska folkets idrottsintresse.
Man måste veta vad man gör och vara uppmärksam på eventuella systematiska problem som göms bakom demografisk representativitet.
Ett exempel som vi på Novus reagerade över var Sveriges största Facebook-undersökning från Göteborgs Universitet. Den fick stor medial uppmärksamhet, både Dagens Nyheter och Nyhetsmorgon i TV4 presenterade den.
Det var en rad uppseendeväckande slutsatser som presenterades av de 4,5 miljoner svenskar som då fanns på Facebook. Några exempel. 30% av svenska kvinnor är olyckliga om de inte loggar in på Facebook. Svenskarna tillbringar i genomsnitt 75 minuter om dagen på Facebook och vi har i genomsnitt 312 vänner. Stora tal, så vår spontana reaktion var att det är något som inte stämmer.
Forskaren skriver själv så här i rapporten:
LIMITATIONS OF THIS STUDY
The inferences from this study should be interpreted in the light of it’s limitations. First and foremost, our sampling strategy was non-random. Although this problem affects inferences about the total Swedish Facebook population, we do however advocate that it is likely that the sample is representative towards most Swedish Facebook users, because of our large and diverse dataset. We draw our inferences from a dataset where all income levels, all educational levels, and ages ranging from 14 to 73 are represented. In short, all relevant social classes are represented in our data.
Med andra ord tar de stöd i demografisk representativitet för att bevisa att även beteendet kring Facebook är representativt.
Undersökningen genomfördes på Facebook och respondenterna hittades på Facebook. Undersökningen innehöll en lång rad lite underliga frågor. Som exempel fanns frågor om hur långt tid någonting tar, och då kan tilläggas att vi människor generellt har väldigt dålig tidsuppfattning. Men det vi ville göra var att se om urvalet verkligen var representativt avseende åsikter, inte bara demografi. Därför ställde vi exakt samma frågor i vår slumpmässigt rekryterade webbpanel för att se om vi kunde replikera resultatet.
Om Facebook-studien är representativ inte bara avseende demografiska parametrar utan även åsikter bör vi alltså få liknande resultat.
Novus Göteborgs universitet
Tid på Facebook (min) 35,6 75,2
Antal vänner 100 312
Antal inloggningar 2 6
Tabellen visar tydligt på stora skillnader mellan Novus mätning och Göteborgs Universitets studie. En tredjedel så många vänner och antal inloggningar, och hälften så lång tid på Facebook varje dag.
Hur kan det bli så stora skillnader om båda har ett representativt urval? Samma frågor ställdes i båda undersökningar till ett till synes representativt urval av svenska folket. Men skillnaderna är mycket större än eventuella mätfel.
Det är väldigt troligt att då Göteborgs Universitet genomförde sin studie på Facebook lyckades de fånga upp de mest aktiva användarna. Forskaren själv hade 1000 vänner, och genom att sprida undersökningen till dem nådde man snabbt upp till 1000 svar. Efter det stängdes underökningen.
Novus jämförande studie tyder på att Göteborgs universitet råkat fånga de som är mer aktiva på Facebook än gemene man, trots att den demografiska representativiteten skulle indikera en åsiktsrepresentativitet.
Hur uppnår man då en åsiktsrepresentativitet?
Det är här slumpen kommer in. Novus och många undersökningsinstitut med oss uppnår detta i största möjliga grad genom att bjuda in slumpmässigt utvalda svenskar att vara med i en panel. Det är inte hundraprocentigt, men idag det bästa möjliga sätt som finns att tillgå.
Det bästa en självrekryterad panel, det vill säga dit man kan anmäla sig själv, kan uppnå är att den blir lika bra som ett slumpmässigt urval. Men risken för systematiska åsiktsskevheter är mycket stor, och de kan lätt döljas bakom demografisk representativitet.
I Novus parallellstudie, som omfattade 8 svenska paneler hos olika institut, såg vi ett par tydliga åsiktsskevheter i just självrekryterade paneler. Dels fanns det en överrepresentation av Sverigedemokrater bland de som var med i flera paneler samtidigt. Detta påpekades i debattartikel av Novus VD Torbjörn Sjöström och statsvetaren Jenny Madestam, läs artikeln här.
Hos respondenter som var med i en självrekryterad panel angavs belöningar och tidsfördriv som starka drivkrafter att vara med i en webbpanel. Det finns garanterat andra skevheter som vi inte kunde identifiera i vår studie.
Däremot var den demografiska representativiteten relativt god i alla åtta paneler vi studerade. Vilket faktiskt inte säger någonting alls om tillförlitligheten i svaren.
Ladda ned Novus parallellstudie här
Göteborgs universitets Facebook-undersökning finns att ladda ned här