Om Novus Svensk väljaropinion, poll of polls

(Uppdatering 2017 12, finns en komplettering till metoden som beskrivs här: https://novus.se/blogginlagg/metoduppdatering-novus-svensk-valjaropinion/)

Novus genomför varje månad Svensk Väljaropinion; en så kallad poll of polls av de väljarbarometrar som publiceras i Sverige och som uppfyller de kvalitetskrav som vår erfarenhet och den rådande forskning som finns säger är ett minsta krav för att genomföra en åsiktsmässigt representativ undersökning. Med andra ord en väljarbarometer som metodmässigt har förutsättningen att vara rimligt träffsäker.

• Regelbunden publicering
• Ett sannolikhetsurval/Slumpmässigt urval
• Felmarginaler
• En undersökning

Regelbunden publicering

För att bibehålla kontinuiteten och stabiliteten i Novus Svensk väljaropinion så skall de ingående undersökningarna publiceras i stort sett varje månad, någon enstaka avvikelse t.ex. under sommarsemestern är inga problem. Men undersökningar som publiceras en gång i kvartalet är inte med oavsett om de uppfyller de andra kvalitetsmässiga parametrarna.

Ett sannolikhetsurval/Slumpmässigt urval

Målet med en undersökning är inte att fråga rätt antal män och kvinnor etc. utan att få reda på svenska folkets åsikt – i detta fall vad man skulle rösta på om det vore val idag. En undersökning som är åsiktsmässigt representativt, inte enbart demografisk som man lätt felaktigt förenklar det till.

Läs mer om representativitet här

Det finns ingen som helst tvekan om att man måste ha ett sannolikhetsurval/slumpmässigt urval. Självrekryterade paneler går inte att använda utan att man faktiskt tar in information för att hårt bearbeta sifforna på ett sätt som inte är tillförlitligt och denna bearbetning måste ske från riktiga undersökningar. Att få en självrekryterad väljarbarometer att bli pålitlig på samma sätt som en baserad på ett slumpmässigt urval innebär att man först måste göra en korrekt undersökning med slumpmässigt urval som blir facit och sedan rätta till den självrekryterade efter den korrekta. Detta måste också göras varje gång på grund av de inneboende problemen som finns med självrekryterade urval.

Just vad gäller väljarbarometern så finns det också ett väldigt unikt svenskt problem. De är så träffsäkra och valdeltagandet är så högt att kraven ökar mer än i de flesta undersökningar och det finns bland annat en grupp man inte systematiskt kan utelämna; de äldre. IT-vanan hos de äldre över 79 år har en stark koppling till utbildning, och därmed också privatekonomi och till stor del partival. Lågutbildade pensionärer är nästan helt frånvarande på nätet men röstar i valen. Därför måste dessa kontaktas på telefon. Då den förväntade träffsäkerheten är så hög blir det ett faktiskt problem om man inte når denna grupp.

Alla vuxna svenskar har minst ett mobilnummer och eller ett fast telefonnummer och 85 % av svenskarna är nåbara via publika register via telefonnumret. Detta är mycket bra. T.ex. i USA finns det av konkurrensskäl inga offentliga mobilnummer. Ni kan ju gissa hur det påverkar träffsäkerheten på en undersökning om man inte kan ringa mobiltelefoner.

Ur ett Internationellt perspektiv är svenska väljarbarometrar mycket träffsäkra, troligtvis världens mest träffsäkerhet och mycket långt från de problem som har noterats ibland annat Storbritannien och USA.

Läs lite mer om Storbritanniens utmaningar här

Däremot så finns det globala utmaningar man måste ta hänsyn till. Nate Silver har bl.a. uppmärksammat och kunnat bevisa att s.k. ”herding” sker. Undersökningsföretag kopierar och använder andra undersökningsföretags undersökningar som input till sina egna och på så sätt drar nytta av korrekta undersökningar från konkurrenter för att trimma in sitt eget resultat så att det till synes blir mer exakt än metoden som sådan tillåter. Detta är något som vi på Novus uppmärksammat ett antal gånger. T.ex. i artikeln i medievärlden som kan läsas här

Novus har också byggt upp unik kunskap kring vilka metoder som fungerar och vilka som inte gör det. Och framförallt när olika metoder fungerar och när de inte gör det. Denna kunskap används vid värdering av vilka undersökningsmetoder som är tillförlitliga.

Läs mer om vår världsunika metodstudie här

Värt att notera att webbundersökningar på en slumpmässigt rekryterad panel fungerar mycket väl, en klar majoritet av Novus undersökningar genomförs på det sättet. Men för just väljarbarometern är det i dagsläget inte bra nog då den faktiska och förväntade träffsäkerheten är så pass hög att webbundersökningar faktiskt skulle dra ned på träffsäkerheten. Främst på grund av de äldre utan nätnärvaro som omnämns tidigare i texten. Det gör att en väljarbarometer ställer unika krav.

Felmarginaler

Genomförs en undersökning metodmässigt korrekt så går det att räkna fram felmarginaler. Felmarginalen är ett tecken på den statistiska träffsäkerheten som finns i undersökningen. Felmarginalen måste inte publiceras, men saknas däremot möjligheten att räkna ut felmarginaler i undersökningen så går det inte heller att avgöra om en förändring är statistiskt säkerställd. Med andra ord det finns inga nivåer att hålla sig till som säkerställer att en ändring inte bara är ett mätfel.

En undersökning

En väljarbarometer som vägs in skall bestå av en undersökning, den kan inte bestå utav flera individuella som sedan vägs ihop, det försvårar en poll of polls som i sin tur är en sammanvägning av individuella undersökningar.