Metoduppdatering Novus väljarbarometer (2018-02-13)

Novus/SVT Väljarbarometer blir ännu större och bättre

Från februari 2018, ett år efter att samarbetet med SVT inleddes och med 7 månader kvar till valet förbättrar Novus väljarbarometern på flera plan.

Sammanfattning

Novus lanserar nu sin största metodförbättring någonsin, med flera förbättringar.

Väljarbarometern utgår fortfarande från ett OSU och basen är minst 5000 intervjuer varje månad, en ökning från tidigare 4000, där den stora majoriteten kommer att intervjuas via telefon (fast eller mobil).

Men vi går över till en s.k. multimode undersökning, där man kan om så behövs/efterfrågas svara på undersökningen även via SMS, e-post och post. Vi ökar även antalet språk undersökningen kan genomföras på.

• Fler genomförda intervjuer, från 4000 till 5000
• SMS
• E-post
• Post
• Flera språk:
  engelska, serbokroatiska, sorani kurdiska med arabiska bokstäver, arabiska

Utöver tidigare metodhöjande åtgärder

• Kompletterande frågor
• Nummerpresentation (Novus står som avsändare)

Dessa förändringar hjälper till att framtidssäkra Novus väljarbarometer och minska risken att framtida snedvridningar i urvalet skulle ske. Vi täcker också upp i grupper som tidigare pga. språkproblem eller saknar telefonnummer inte kunde bli utvalda för intervju.

En mycket bra väljarbarometer blir ännu lite bättre, utan att för den delen lämna den vetenskap och beprövad erfarenhet som finns.

Bakgrund

Detta blir den största satsningen i historien på Novus väljarbarometer. Novus väljarbarometer var redan innan detta den mest omfattande väljarbarometern som presenterades varje månad. Nu satsar vi mer pengar och fler resursen på att göra Novus väljarbarometer ännu bättre.

Efter valet såg vi att det fanns ett systematiskt fel som innebar att vi missade vissa Sverigedemokratiska sympatisörer pga. den misstro mot undersökningsföretag och massmedia som fanns. Problemet var inte att vi inte nådde väljarna, utan att vissa inte vågade svara ärligt på partisympatifrågan. Dock svarade samma personer på andra politiska frågor. För att korrigera detta systematiska fel så kompletterades väljarbarometern direkt efter valet med ytterligare frågor för att korrekt kunna estimera mörkertalet. Modellen som utvecklades då var ett resultat av Novus interna utredningar, där en central del var att inte förändra grunderna i hur man gör en pålitlig statistisk undersökning. Modellen fick inte introducera nya felkällor. Därför behöll vi grunden kring ett enhetligt slumpmässigt urval, som så långt det går skapar ett s.k. OSU (Obundet Slumpmässigt Urval). Bryter man upp OSU:t är man snabbt på djupt vatten. Vissa lösningar som är på modet i världen för att lösa ”problemen” i undersökningsbranschen är snarare att liknas vid att amputera foten om man har nageltrång.

Den vägen är destruktiv och självuppfyllande. Metodförändringarna som sådana förstärker problemen och slutresultatet blir ofta sämre, eller som bäst likvärdigt vid hur det skulle blivit om man fortsatt med en traditionell metod. Har man tur blir det lika bra som innan men lite billigare. Men sannolikt blir det bara billigare och sämre. Vilket kan vara acceptabelt om målet är att spara pengar. Men är målet att förbättra något som man själv hävdar är dåligt så gör man sig själv och branschen en björntjänst.

Novus väljarbarometer var som redan nämnt den metodmässigt mest omfattande väljarbarometern som publiceras varje månad. Sannolikt är vi också dem som satsar mest pengar på detta.

SCB genomförde ca 600 fler intervjuer två gånger om året, (4600 st). Novus genomför och publicerar en väljarbarometer baserad på 4000 intervjuer varje månad. Nu efter metoduppdateringen genomför Novus minst 5000 intervjuer per månad.

Det finns idag inget som tyder på att bortfallet är ett stort problem. Är bortfallet slumpmässigt så är det hanterbart. Det låter konstigt, men slumpen är undersökarens vän. Det är systematiska fel som är problemet. Klarar man att hålla isär åsiktsmässig och demografisk representativitet så ser man att bortfallet är åsiktsmässigt slumpmässigt. Även om vissa grupper är demografiskt underrepresenterade, så är de inte åsiktsmässigt underrepresenterade. Här har vi forskningen till stöd, det är inte något vi bara säger. Det har på flera håll blivit en ”falsk sanning” att bortfallet är ett stort problem idag. Även om bortfallet är över 90 % i USA så inverkan liten i tillförlitligheten i resultatet. De korrekt genomförda väljarbarometrarna i USA i senaste valet var de mest träffsäkra på 40 år. Man undersökte bara fel sak, nämligen ”Popular vote” istället för de elektorsrösterna.

Men det betyder inte att vi är nöjda. Vi vet att väljarrörligheten ökar, flera partier balanserar på 4 % spärren. Beteendet hos allmänheten ändras. Mobiltelefonen är navet i vår kommunikation i Sverige och väst. Så kommer det att vara en bra tid framöver. E-postadressen är flyktig. Även om Facebook som nav går framåt, så är det ändå SMS som är autentiseringen i många tvåstegslösningar. Mobilnumret är det teknikneutrala navet för att bekräfta din identitet.

Det är just därför vi ringer när vi genomför väljarbarometern, och när vi rekryterar till vår Sverigepanel (som man måste bli slumpmässigt utvald att bli med i man kan inte söka själv).

Men vi har nu tagit det ett par varv till, och lanserar nu den utan konkurrens den mest omfattande väljarbarometern i Sverige. Inte bara i antalet intervjuer utan också i kontaktsätt.

Det pratas om att det blir svårare att nå respondenter, det spekuleras kring att bortfallet på telefon inte är slumpmässigt. Bortfallet är så långt vi kan se än så länge slumpmässigt och ett problem som konstant överskattas. Ingen forskning visat att det är ett riktigt problem på allmänhetsundersökningar om man kan hålla isär åsiktsrepresentativitet och demografisk representativitet. Det centrala är åsiktsrepresentativiteten. Men det stämmer att utmaningarna blir fler, det blir krångligare att göra pålitliga undersökningar. Men krångligt får inte förväxlas med omöjligt. Det går utmärkt att genomföra bra undersökningar, men krångligare innebär så klart att det blir lite dyrare, eller framförallt det kostar pengar och man kan inte tro något som blir krångligare blir billigare.

Novus tar alltid uppdraget på största allvar, oavsett undersökning och inriktning skall en undersökning leverera en ökad förståelse. En ökad förståelse innebär att man måste kunna lita på underlaget.

Väljarbarometern är speciell, den uppfattade noggrannheten är högre än den teoretiska. Förändringar inom felmarginalen kan bekräfta en trend och har stöd i andra undersökningar på ett sätt som är ovanligt i privata undersökningar. Mängden undersökningar som publiceras gör att vi kan uttala oss om saker som vid en isolerad undersökning kan se ut som gissningar. Väljarbarometern är poängställningen i kampen om väljarna. Väljarbarometern är en dimension av folkets röst mellan valen.

Kommersiella undersökningar är egentligen viktigare, där söker man större säkerhet än vad som kan ge stora rubriker i väljarbarometern. Man tar inte affärsbeslut baserat på skillnader inom felmarginalen. Då undersöker man frågan vidare tills man har svar. Kommersiella undersökningar använder samma metoder som väljarbarometern. Den offentliga bilden av vilka undersökningar som fungerar påverkas av vilken metod som används för väljarbarometern. Men felaktiga undersökningar för kommersiella produkter kan vara förödande och i värsta fall leda till konkurser. Det är också därför vill vi visa vägen hur man gör riktigt bra undersökningar genom att ytterligare förbättra väljarbarometern. Det finns en märklig missuppfattning att kommersiella undersökningar inte är lika viktiga, att man kan slira lite mer där. Det är snarare tvärtom. Där får man resultatet omedelbart. Beslut fattade på korrekta undersökningar kan generera resultat och intäkter direkt, inte vart fjärde år. Beslut baserat på dåliga undersökningar leder till ekonomiska förluster.

Väljarbarometrarna i Sverige är några av världens mest träffsäkra. Novus genomsnittliga fel i valet var 0,8 procent enheter (Novus var närmast av alla som idag genomför väljarbarometrar), den teoretiska felmarginalen ligger närmare 2 procentenheter. Så ser det ut val efter val. De etablerade undersökningsföretagen som genomför väljarbarometrar baserat på vetenskap och etablerad erfarenhet har haft en träffsäkerhet som är högre än den teoretiska felmarginalen val efter val.

Trots det är bilden och jargongen inte ovanlig i det offentliga rummet att man inte kan lita på undersökningar längre. ”Ingen svarar i telefon”, ”ingen våga svara på känsliga frågor” osv.

När all fakta pekar på det motsatta. Men även vi som kunskapsleverantör påverkas av att känslor är lika mycket värda som kunskap.

För att bemöta dessa frågeställningar lanserar vi nu en förbättrad modell baserad på våra interna studier och den vetenskap och etablerad erfarenhet som finns.

Denna metodförändring kommer också ge oss värdefull kunskap om ev förändringar i beteende över tid baserat på olika trafikslag. Vi kommer också göra väljarbarometern och även panelen mer framtidssäkrad. Vi kommer att kunna skapa ett OSU på ett bättre sätt om det nu är så att de som inte svara i telefon i framtiden skulle leda till ett åsiktsmässig systematiskt bortfall. Detta kommer att ge oss ovärderlig kunskap som i sin tur leder till att våra kunder kan lita ännu mer på att våra undersökningar ger en pålitlig kunskap. Att en Novus-undersökning svarar på vad, förklarar varför och ger ledtrådar i hur man förändrar det.

Nedan beskrivs varje steg lite kort.

Fler (flest) intervjuer

Novus väljarbarometer kommer att varje månad vara baserat på minst 5000 genomförda intervjuer baserad på ett slumpmässigt urval av svenska folket. Den stora andelen genomförda intervjuer förbättrar möjligheten att uttala sig om mindre grupper, partier runt 4 % spärren och även bättre kunna genomföra regionala nedbrytningar. Som referens genomförde Novus fram till januari 2018 4000 intervjuer per månaden, och SCB:s ”stora” partisympatiundersökning ca 4600 intervjuer två gånger om året.

SMS

För att minimera andelen som inte svarar på okända nummer, känner att vi jagar dom etc. så kommer vi att på mobilnummer efter ett antal kontaktförsök att skicka ett SMS som både beskriver varför vi sökt personen, men där man också kan gå direkt via länk till undersökningen.

E-post

Det är inte alltid telefon passar vid alla tillfällen, så när vi ringer så erbjuder vi om det inte passar att prata att man kan få enkäten mailad till sig. Det är viktigt att förstå att epost är något vi måste fråga om på telefon, det finns inga representativa e-postregister. Och en kärna i Novus undersökning för att efterskapa ett så bra sannolikhetsurval som möjligt, är att det skall vara just ett urval. Att blanda urval som vissa konkurrenter gör ser vi inte ökar kvaliteten, utan snarare öppnar upp för ytterligare problem.

Post

85 % av svenska folket har minst ett registrerat telefonnummer. Tidigare nöjde vi oss med detta för väljarbarometern, det är inget unikt för Novus utan gäller alla som använder telefonregistret som bas. Det är det bästa som finns i Sverige, och ur ett internationellt perspektiv är detta ändå unikt bra. Dock har vi sedan ett år tillbaka rekryterat till vår panel via vykort för att säkerställa att vi inte får en snedvridning i vår slumpmässigt rekryterade panel. Vet vi att det finns en eventuell blind fläck och vi vill ha koll på den också om det är relevant. Våra erfarenheter av det har inte visat på en åsiktsmässig snedvridning, de som inte har ett registrerat telefonnummer avviker inte från de som har ett telefonnummer. Men trots det kommer vi nu även att skicka vykort till de i urvalet som inte har ett telefonnummer och genomföra väljarbarometern den vägen. Så kan vi följa denna annars ev blinda fläck löpande även i väljarbarometern.

Flera språk

Nästan alla röstberättigade i Sverige talar svenska, men det finns grupper med medborgarskap och därmed rösträtt i riksdagsvalet som inte talar svenska bra nog. Därför har vi översatt enkäten för väljarbarometern till följande språk som är de mest utbredda baserat på ursprung efter Finland i Sverige.

• Engelska
• Serbokroatiska
• Sorani kurdiska med arabiska bokstäver
• Arabiska

Vår erfarenhet är att finska inte behövs, då de talar svenskan mer än gott nog för att kunna genomföra undersökningar på Svenska.

Vid behov kommer man då att bli erbjuden en länk där undersökningen kan besvaras på ovanstående språk.

Kompletterande frågor

(Detta är ingen ny åtgärd, denna implementerades i oktober 2014, men används fortfarande som del av vår modell och värd att påminna om)

Det fanns en överrepresentation av SD sympatisörer som uppgav att de inte visste vad de skulle rösta på. Däremot var det inga problem att få svar på andra frågor så länge man inte frågade om just partisympati. Vi kallar det misstroendeeffekten. Och finns att läsa mer om här: https://novus.se/valjaropinionen/svtnovus-valjarbarometer/misstroendeeffekten-och-att-mata-sds-sympatier/

Vi nådde alla grupper via våra telefonintervjuer (som vi använder till väljarbarometern) där vi ringer både mobiltelefoner och fasta telefoner. Undersökningen hade med andra ord en åsiktsmässig representativitet förutom då en grupp som inte ville uppge parti, som svarade men inte ville svara på just den frågan.

Ett systematiskt problem i att man misstror undersökningsföretag för att vi är del a etablissemanget och man var rädd att personlig information kunde läcka ut.

Et åtgärd för att kompensera detta var att ett antal följdfrågor för att kunna uppskatta hur stor grupp bland de osäkra som egentligen sympatiserar med SD. Viktigt att påpeka, ingen individ kopplas till detta utan det är andelen av de osäkra som vi bättre kan uppskatta. Utöver våra partisympatifrågor har vi med andra ord kompletterat vår metod med att par följdfrågor som hjälper oss att uppskatta andelen som egentligen skulle rösta på SD om det vara val idag.

Nummerpresentation

(Detta är ingen ny åtgärd, men värd att nämna)

Nummerpresentation kan låta som en liten sak men det är rätt utbrett i vår bransch, då vi precis som många av våra konkurrenter använder datainsamlingsföretag för att genomföra telefonintervjuerna. Det kan vara ett problem som påverkar att man inte svarar för att man inte känner igen numret. Novus telefonintervjuer genomförs av, PFM research. Något som inte är unikt för Novus, utan det är vanligt på svenska marknaden att ett ”datainsamlingsföretag” genomför de resursintensiva intervjuerna baserat på våra instruktioner. Dock sker, design, databearbetning och analys av Novus. Men vi har ingen telefoncentral, som ett medvetet strategiskt beslut. Telefonintervjuer kräver sin unika kompetens, något PFM är mycket bättre på än Novus. Det är deras kärnkompetens. Novus kärnkompetens är undersökningar, inte datainsamling på telefon, som är ett delmoment i en undersökning. Telefonintervjun ett viktigt sådant, men det är ett delmoment som bättre görs av ett företag med spetskompetens inom just datainsamling via telefon.

Det vi gör tillsammans med PFM är att säkerställa att de ringer från ett telefonnummer som tillhör Novus och vi kommer också att jobba aktivt med att säkerställa att numret presenteras rätt i de appar som finns. En generell kommentar är att NIX-registret inte gäller undersökningar eftersom ingen försäljning sker i vår kontakt. Personuppgifterna lagras aldrig kopplat till svaren. Sen har vi full förståelse för att man kan tycka att vi stör ändå, det är just därför som vi kompletterar med metoderna ovan.

Slutsats

Novus väljarbarometer var redan innan mycket träffsäker, och varje enskild del i vår metodförändring har idag relativt begränsad effekt. Men sammantaget så är väljarbarometern och även Novus övriga undersökningar bättre rustade för framtiden. Ev framtida beteendeförändringar i kontakt och trafikslag kommer vi att kunna följa, och vi kommer att kunna anpassa oss efter dessa om det behövs för att säkerställa att en Novus undersökning även i framtiden är en pålitlig kunskapskälla för våra kunder.

Sen kan det vara värt att påpeka att majoriteten av våra undersökningar sker via e-post och webb. Men urvalet måste man hitta via befolkningsregistret och denna metodförändring innebär att vårt urval även för den stora massan av våra undersökningar kommer att vara så representativ det är möjligt.

Mao vi ökar träffsäkerheten lite, men framförallt ökar vi framtidssäkringen och kunskapen. Och vi kastar inte ut den vetenskap och etablerad kunskap som finns. Vi förbättrar, vi börjar inte om från början.