Alla dessa metodförändringar och synen på Novus Svensk väljaropinion

Det har varit många metodförändringar under denna mandatperiod, intressant med tanke på vilket hallå det var när Novus redan på valdagen insåg att det fanns något systematiskt fel som ledde till att SD underskattades.

Våra konkurrenter verkade nöjda med sin metod, de var i alla fall allmänt tysta. Det var i princip bara jag som kommenterade, försökte förklara misstroendeeffekten samt vad man kan och inte kan lita på. Kulmen var nog Fokus långa artikel som nästan bara kretsade kring Novus ”radikala” ändring av metod med det spännande rubriken ”Mäthatet”

Vår metodförändring var verkligen inte radikal, men jämfört att inte göra något alls var den kanske det, det mest radikala var nog att jag och Novus tog felet på allvar, agerade direkt och förklarade hur vi tänkte. Vår metodförändring var baserad på beprövade metoder och våra egna studier kring väljarbeteende. Vi ändrade inte metod men gick från 3 frågor till att lägga på några ytterligare för att bättre förstå de osäkra väljarna och vart de lutade.

Sen inför sommaren 2016, mer än två år efter valet, gjorde Ipsos en massiv metodförändring. De lanserade en ny väljarbarometer baserat på två undersökningar, en på okänt antal telefonintervjuer och en på okänt antal webintervjuer. Båda hanterades separat och slogs sedan ihop enligt devisen hela telefon och halva webb. Man passade samtidigt på att ta bort felmarginalerna och decimalerna. Hur hanterar man en undersökning utan decimaler och utan felmarginaler? Vi hade inget annat val än att ta bort dom från Novus Svensk väljaropinion®. Det fanns inte ens någon information om antal webb vs antal telefon. Det var bara en totalsumma. Det gick inte att se hur mycket webb och telefon bidrog till resultatet. Det gick inte att förhålla sig till hur stor påverkan de olika undersökningarna påverkade totalen.

Det går att vikta till webb att så det ser rätt bra ut på totalen i en väljarbarometer. Sverige är speciellt, vi har redan extremt hög träffsäkerhet och förväntan på alla väljarbarometrar är skyhöga, och valdeltagandet är också högt, även bland de som inte är på nätet, där skiljer sig Sverige från de flesta länder. Det problem man pratar om i USA är vi inte alls i närheten av i Sverige, trots det verkar man försöka lösa problem som inte ens finns här. Vilket är extremt onödigt när vi kunde jobbat framåt och förfina, så går man snarare till att göra saker sämre. Om det är för att allt skall bli billigare eller för att man tappat fokus, ja det låter jag vara osagt nu, jag kan bara konstatera att metodförändringarna är extremt märkliga och förklaringarna inte stämmer med problembeskrivningen, problembeskrivningen stämmer inte ens med verkligheten i vissa fall.

För att få en väljarbarometer som är lika bra på webb som den på telefon idag behöver den i praktiken viktas hårt mot ett färskt facit på telefon. Den kommer då se bra ut på totalen men undergrupperna brukar se mycket konstiga ut. Vi jobbar självklart själva med metodjämförelser och följer detta löpande hela tiden, de flesta undersökningar är på web hos oss, och de är mycket pålitliga, men väljarbarometern är speciell. Nästan alla röstar men alla dessa hittar man inte på nätet, och vi är bortskämda med en extremt hög träffsäkerhet redan, vilket gör att vi idag inte ser att webundersökningar ökar på träffsäkerheten utan om något sänker den. Men det har som sagt att göra med att vi är vana vid en extremt hög träffsäkerhet på väljarbarometrar i Sverige. Varför laga något som inte är trasigt. Och SD:s underskattning är enligt våra studier inte en fråga om urval, utan misstro.

Att gå från interna tester och metodstudier till att lansera en ny metod så här långt in på en mandatperiod begriper jag inte. Delvis är det för många steg som innehåller frågetecken. Hade Ipsos visat resultatet av de två undersökningarna var för sig, samt hur den sammanslagna såg ut hade man kunnat värdera modellen. Vi hade då t.ex. också kunnat välja att ha med enbart deras telefonundersökning i vår sammanvägning, och avvakta med det andra till vi ser hur det fungerar i nästa val. Istället landade en svart låda, som man utifrån vår kunskap och studier inte går att begripa hur det kunde bidra till någon förbättring. Snarare skapade det fler frågor kring metoden, hur viktar man på GAL-TAN? Vad viktar man mot egentligen? Problembeskrivningen och lösningen höll inte ihop logiskt, stämde dessutom illa med de faktiska utmaningarna som finns i Sverige. Bortfallet är inte alls det stora problem man utmålat det som. Men ponera att den forskning som finns har fel och att bortfallet trots allt skulle vara det centrala problemet, hur löser man bortfallet på telefon genom att gå över till en telefonrekryterad webpanel? Den rekryteras ju på telefon… Men i praktiken gör det inget för bortfallet är inte alls ett så stort problem. Men varför är det då centralt i orsaken till metodförändring. Ok, lämnar detta nu.

Ett år efter detta, sommaren 2017, kom Sifo med en till synes stor förändring men som i praktiken var mycket liten. Man sa helt plötsligt att man genomfört 12 000 intervjuer, jag trodde det var ett tryckfel. Ca 2000 telefon och 10 000 webb. Men det visar sig sedan att man räknar 10 000 webb till att vara värda 10% av telefonintervjuerna, så man räknar 12 000 intervjuer som drygt 2000. Något man själv till mig kallar hårklyveri men ändå OK… I Sifos egen rapport står det fortfarande att den vägda basen är drygt 2000 intervjuer, de intervjuer de själva räknar på, denna vägda bas består till 90% av telefon.

Nu senast i november 2017 lanserar Demoskop en ny metod. 1000 telefon och 600 webb. Webb på en panel byggd med hjälp av att rekrytera från pop up från en mängd webbsidor. Demoskop hävdar själva att det inte är självrekryterat. Dock betyder inte det att det är ett oberoende slumpmässigt urval utifrån svenska folkets befolkning. Besökare på hemsidor är mycket svårt att likställas vid ett slumpmässigt urval av svenska folket. Demoskop är extra speciellt här. Demoskop var aktiva i att kritisera Novus metodförändring. Det hävdades främst att vi saknade transparens i vår metodförändring. Det var milt sagt ett jäkla liv. Det enda man åstadkom då var att jag fick reda på hur man kan agera i det närmaste rättshaveristiskt bakom kulisserna. Sen kommer de med en förändring och en metodbeskrivning som väcker fler frågor än svar, där man inte ens kan avgöra hur urvalet kommer till och en andel av deras intervjuer inte längre verkar vara baserad på ett slumpmässigt urval av Sveriges befolkning. Att Ekot nu verkar tagit bort Demoskop från sin lista samtidigt som de behållit Ipsos säger något om detta antar jag.

Vad hände egentligen? Att direkt efter ett val revidera sin metod är inte så konstigt om man kan konstatera att det fanns ett systematiskt fel. Först då det gick att konstatera att det fanns ett systematiskt problem. Det har killgissats en hel del under tiden, obefogade slutsatser där man ignorerat den fakta som fanns och hävdat att det fanns en skameffekt. Det fanns ingen faktagrund för detta då. Först efter valet 2014 man kunde fastställa att något inte stämde kring SD:s siffror. Vi på Novus tog tag i detta redan omedelbart och började att korrigera vår metod och lanserade den så snart den var klar kort efter valet.

Stora metodförändringar flera år efter valet öppnar upp många utmaningar, t.ex. minnesfelet spelar in, vad röstade man egentligen på i valet för några år sedan? Vad är egentligen rätt, vad är fel? Hursomhelst, nu har vi en situation där alla gjort mer eller mindre drastiska förändringar, Novus är den enda aktör förutom SCB som enbart utgår från ett urval där man försöker skapa ett slumpurval så långt det går. Demoskop är den enda aktör som delvis avviker från ett slumpmässigt urval utifrån svenska folket. Ipsos verkar vara den enda som tagit bort felmarginaler. Sifo anser att 2000 telefon är mycket fler än 10 000 web. (10 000 webb räknas som ca 200 st telefon).

Då till Novus Svensk väljaropinion®. Det är en sammanställning av de etablerade väljarbarometrarna för att ge en lite bredare bild av opinionsläget. Något Novus gjort i ca 10 år. Kravet var att man utgick från den vetenskap och beprövad erfarenhet, vilket även gäller idag. För vi vill ju inte ha med undersökningar som inte bidrar till att öka träffsäkerheten. En poll of polls utgår från teorin att många korrekta undersökningar som slås ihop skapar en högre träffsäkerhet för att man har fler intervjuer. Genomsnittet jämnar ut individuella mätfel.

Men hur gör vi nu? Tre av fyra institut som tidigare utgått från vetenskap och beprövad erfarenhet avviker nu från detta i olika grad.

Går det ens att göra en trovärd poll of polls?

Vi kanske skall nöja oss med att Novus gör den mest omfattande väljarbarometern som finns i Sverige. 4000 genomförda intervjuer 11 gånger om året är det ingen som kommer ens i närheten av, detta summeras upp till ca 44 000 intervjuer på ett år. Näst störst är Sifo med drygt 2000, ca 22 000 på ett år, SCB som anses vara störst har 9400 på ett år. SCB har nämligen den irriterande egenheten att de presenterar hur många de sökt jättetydligt, antal intervjuade kommer mer i skymundan. Så de ser JÄTTESTORA ut. Men verkligheten är halva den uppgivna siffran.

Och det är sant Novus väljarbarometer har ett mycket starkt track record. I EU valet var vi närmast, i riksdagsvalet 2014 var vi närmast av de undersökningsföretag som idag verkar på svenska marknaden. Vår träffsäkerhet är bevisad val efter val, och vi tog det systematiska felet 2014 på allvar direkt.

Men jag vill inte lägga ned Novus Svensk väljaropinion® för att våra kollegor gör kraftiga metodförändringar. Samtidigt kan vi inte låtsas som att det inte hänt stora förändringar. Vi måste fortsatt utgå från vetenskap och beprövad erfarenhet. Det finns idag inget som är bättre än ett slumpmässigt urval.

Om vi då tittar med dessa ögon på de väljarbarometrar som idag publiceras och ändå är etablerade så har de en kärna som kretsar kring detta. Idag kan man också se hur många intervjuer som är genomförda med en pålitlig metod.

Detta kommer att vara vår bas i hur vi räknar vår poll of polls framöver.

Novus Svensk väljaropinion kommer framöver att innehålla:

1. Novus
2. Sifo
3. Demoskop
4. Ipsos

Men deras vikt in i resultatet kommer att vara baserat på andelen slumpmässigt genomförda intervjuer och hur stor utspädning deras andra intervjuer/metoder bedöms ha.

Det som fortfarande förenar Novus, Sifo, Demoskop och Ipsos är att ett slumpmässigt urval är basen i väljarbarometern.

Det som skiljer Novus från resten är att vi är ensamma om att ha en undersökning baserad på ett enda  slumpmässigt urval.

Det som förenar Sifo, Demoskop och Ipsos är att de fortfarande ser ut att värdera det slumpmässiga urvalet baserat på telefonintervjuer högre än deras webdel. Med andra ord kärnan verkar fortfarande vara baserad på den vetenskap kring urval som finns idag.

Sifo räknar inte sina web i princip alls, slutresultatet i deras väljarbarometer påverkas till 10% av deras webintervjuer. Ipsos räknar sina 1000 webb som att vara hälften så mycket värda som sina 600 telefon. Demoskop fyller på sina 1000 telefonintervjuer med 600 webintervjuer som inte är slumpmässigt utvalda från svenska befolkningen.

Mer detaljer kring hur vi reviderar metoden kommer att publiceras i samband med nästa publicering av Novus svensk väljaropinion®.

I dag är Omni publiceringspartner för denna.

Torbjörn Sjöström

VD

Novus

Novus Svensk väljaropinion® är ett registrerat varumärke som tillhör Novus (Novus Group International AB)