Nej framtiden är verkligen inte självrekryterad

Markus Uwell verkar här jobba hårt genom att skapa falska motsättningar för att komma till slutsatsen att det är självrekryterade paneler som är framtiden.

När man blandar och ger bland argumentfloran kan det ser ut som man har ett starkt argument. Särskilt som man refererar till en forskare.

Men jag tänker inte försöka bena ut hans text, den utelämnar så mycket fakta, utan går direkt på kärnan i det som sägs.

Markus blandar ihop demografisk representativitet och åsiktsmässig representativitet. Samma som Johan Martinsson tyvärr gjorde i den text Markus länkar till som grund för hans argument.

Låt oss då kort förklara skillnaden, detta är faktiskt själva kärnan i hela undersökningsbranschen.

För att kunna undersöka vad olika grupper tycker i en fråga, allt från politiska frågor till vilken målgrupp som har den största marknadspotentialen för en produkt så genomför man undersökningar. Man gör en undersökning för att man inte vet svaret. Det är ju det man vill ta reda på.

Vill man veta vad t.ex. hela svenska folket tycker i en fråga så drar man ett slumpmässigt urval utifrån hela svenska folket. Slumpen gör att man får en åsiktsmässigt representativ bild av vad folket tycker. SEN kan man titta på undergrupper, t.ex. vad unga kvinnor tycker, eller personer som bor i norr jämfört med söder osv.

Det Markus och även Johan råkar göra är att tänka bakvänt. Frågar man rätt mängd människor i olika demografiska undergrupper i rätt proportioner till varandra, så blir det en representativ bild av svenska folket. Man använder kända data kring ålder, kön, region för att styra upp en undersökning.

Med den bakvägen säger man att de man frågat också är åsiktsmässigt representativa. Eller som en kvällstidning kallar den demografiska representativiteten; att undersökningen ”speglar svenska folket”.

Man fastnar i identitetspolitikens fälla. De unga kvinnor som aktivt sökt upp en undersökning är åsiktsmässigt representativa för alla unga kvinnor. De män som sökt upp osv. Stämmer bara antalet svarande kvinnor, män, norrlänningar osv med hur ett minisverige ser ut så är undersökningen åsiktsmässigt representativ.

Det man egentligen måste göra är det omvända. Slumpa fram de som får vara med i undersökningen utifrån hela populationen. Sen kan man korrigera lite för att räta upp mindre skevheter som slumpen drar med sig (styra upp OM slumpen gjort att man förhållandevis frågat lite för många äldre män jämfört med hur många som bor i landet t.ex.) Detta kallas att vikta, att förbättra träffsäkerheten lite. Men denna får inte ha för stor påverkan på resultatet för då har man stora problem med undersökningen.

Det är slumpen som säkerställer den åsiktsmässiga representativiteten. Det är inte ålder, kön och region. Särskilt inte när de som valt att vara med aktivt sökt upp undersökningen och undersökningsföretaget. Då blir detta som en magnet för aktivister. Människor som har bestämda åsikter om mycket och är åsiktsmässigt representativa i väldigt få frågor. Och man kan aldrig veta när och var dessa åsikter blir helt fel.

Däremot om du slumpar så kan du göra tvärtom. Utifrån din undersökning så kan du komma fram till vad olika grupper tycker. Men inte tvärtom som man felaktigt verkar tro.

Nu har vi inte en perfekt värld, så alla som blir slumpmässigt utvalda kommer inte vilja vara med. Det finns en risk att man har en grupp som konsekvent inte vill svara på en viss fråga. Dock så länge man arbetar med slumpen och vet vad man gör så kan man kontrollera om de som inte svarar också gör det av slumpmässiga skäl. Inte för att man t.ex. tror att det är en bra ide att genomföra en telefonundersökning när Sverige spelar hockey-VM. Då kommer man konsekvent att missa en viss grupp av åsikter, och det är generellt en dum idé att tro att åsikterna är representativa för alla i landet. Särskilt om det handlar om sport, men i och för sig så kanske hockey-VM kan få alla att bli sportintresserade för en kväll. Men det är här undersökningsföretagens kompetens kommer in. Inte att knåda siffror i datainsamling som man redan vet inte stämmer överens för den undersökta populationen.

I en självrekryterad undersökning så vet man att åsikterna inte stämmer överens med gruppen som skall undersökas. För att kompensera för det så använder man kända åsikter för att korrigera för felen man vet man har. Men dra det på sin spets, om man redan har facit, varför skall man då ens göra en undersökning? För det är nämligen inte så att alla kvinnor som röstar på Socialdemokraterna tycker likadant i alla andra frågor. Men den generaliseringen gör man för att styra upp en självrekryterad panel.

Allt detta borde både Markus och Johan redan veta. Och ingen mår bra av att skapa falska förutsättningar och hoppa över de viktigaste kunskaperna vi i branschen faktiskt har.

Vi på Novus genomförde en rejäl och seriös jämförelse mellan telefon, slumpmässigt och självrekryterade webbpaneler. Den kan läsas här.

Jämförelsen kom fram till att de självrekryterade panelerna har stora kvalitets och åsiktsbrister. Något du aldrig kan förutsäga om du inte redan känner till facit. Men vet du facit så är ju en undersökning slöseri med pengar. Å framtiden är inte en värld där vi undersöker saker vi redan vet. För det är faktiskt det Markus säger.

För att förtydliga här, Novus arbetar med telefon och webbundersökningar, men alltid med slumpmässigheten som grund. Vilket innebär att våra undersökningar alltid är åsiktsmässigt representativa.

Självrekryterad webb är något som vi inte jobbar med och kommer aldrig att göra. Det kommer hända saker i framtiden, telefon kanske inte kommer att finnas kvar om 30 år. Men oavsett hur man undersöker så finns det inget som tyder på att det går att ta bort slumpmässigheten från trovärdiga undersökningar. Självrekryterade paneler är inte framtiden.

Torbjörn Sjöström

VD

Novus