Är riksdagsvalet det sanna måttet på träffsäkerhet – eller en demokratisk spåkula?

Det talas ofta om vem som var bäst i valet. Novus gör det också; vi är det undersökningsföretag som har det absolut minsta genomsnittliga felet i alla val vi har undersökt. Men vad säger det egentligen? Är jakten på decimaler vid valurnan det ultimata kvittot på kvalitet, eller har vi glömt bort undersökningens egentliga uppdrag? Här reder vi ut varför en karta över nuet aldrig får förväxlas med en spåkula för framtiden.

Vår genomsnittliga totala avvikelse sedan vi grundades ligger på under 1 procentenhet, något vi är fantastiskt stolta över. Det är ett bevis på att våra undersökningar ger en rättvisande bild av väljarnas åsikter om det vore val idag. Inget annat undersökningsföretag är i närheten av att komma så nära i riksdagsval, och Novus är ensamma om att ha varit absolut närmast i fem EU-val i rad. Men vi når dessa resultat genom vetenskaplig mätning av nuet, inte genom att försöka agera profeter.

En nulägesbild är ingen prognos

En opinionsundersökning är ingen prognos, utan en nulägesbild. Väljarbarometrar visar hur man skulle rösta om det vore val idag, inte i framtiden. Visst kan nuläget ge indikationer, precis som en förändring i lufttrycket på en barometer varnar för en annalkande storm, men det är ingen framtidsförutsägelse. Saker händer, och människor både ska och får naturligtvis ändra sig.

I de två senaste riksdagsvalen kunde vi konstatera att 4 % av det svenska folket ändrade sig under själva valhelgen.

• Slutdebatten 2018: När Jimmie Åkesson under slutdebatten i SVT på fredagskvällen sade ”de är inte svenskar”, ledde det inte bara till en medieetisk diskussion; det viktigaste var att väljarna reagerade. De två regeringsbärande partierna vann väljare när många bokstavligen ändrade sig framför valurnan, till stor del på grund av Åkessons uttalande. Detta är något som inget undersökningsföretag som släpper en mätning på fredagsmorgonen kan fånga upp, händelsen hade ju inte inträffat ännu.

• Väljarrörligheten 2022: Under de sista veckorna visade vi på en väldigt hög väljarrörlighet, vilket var viktig information i detta snabbrörliga landskap. Novus undersökningar fångade upp alla viktiga förändringar som faktiskt höll i sig fram till valdagen, såsom skjutningen i köpcentret i Malmö och domen mot Almedalsmördaren. Om vi inte hade kunnat förklara detta medan det hände, hade man kunnat ifrågasätta de stora svängningarna från vecka till vecka. Det rörde sig om radikala förändringar som skedde på enstaka dagar, vilka vi då kunde förklara och följa. Det var ett viktigt demokratiskt inslag; barometern ändrades kraftigt och effekten bekräftades vid valurnorna.

Vetenskap kontra gissningar

Eftersom 4 % ändrade sig vid urnan även 2022, hade vi på Novus säkert kunnat ”träffa rätt” på decimalen om vi använt prediktionsmodeller för att gissa slutresultatet baserat på tidigare mönster. Men det är just det vi inte ska göra: vi ska inte förutse framtiden.

Det finns modeller för detta. Nate Silver blev världsberömd för sin användning av Bayesiansk statistik – en sannolikhetsmodell för att förutse framtiden genom att värdera olika undersökningar och lägga på sannolikhetsberäkningar. I Sverige kopierade Botten ADA modellen och jublade över att de var bäst. De var alltså bäst på att göra det vi menar att man absolut inte ska göra: förutsäga framtiden.

För övrigt fungerade inte Botten ADA:s modell 2018. Enligt dem själva berodde det på att underlagen var för dåliga, sannolikt för att det var första gången 4 % av väljarna ändrade sig under valhelgen, efter Åkessons uttalande i slutdebatten. Det fanns helt enkelt inga historiska mönster som modellen kunde luta sig mot.

Detta har jag uppmärksammat tidigare (Länk till blogg). Det är avgörande att hålla isär nutid och framtid. Undersökningarnas uppgift är beskriva nutiden. Faktum är att när man går vilse är problemet oftast inte att man inte vet vart man ska, utan att man har fel uppfattning om var man befinner sig. Att påstå att man är ”bättre” än de mätningar den baserar sin modell på är en logisk kullerbytta – utan kartan, det vill säga undersökningen är modellen ohjälpligt vilse.

Varför ska vi inte förutsäga framtiden?

Opinionsundersökningar är ofta det enda sättet att ge röst åt medborgarnas syn. Vi har en central roll i den offentliga statistiken; SCB och forskningsinstanser som SOM-institutet använder samma metoder. Novus bidrar även till officiell statistik i undersökningar vi gör åt Internetstiftelsen till deras rapport Svenskarna och internet.

Undersökningarna måste hålla en hög tillförlitlighet eftersom de bokstavligen styr svensk BNP. De påverkar marknadens framtidstro, investeringsvilja och de politiska beslut som i förlängningen formar landets ekonomi. Det finns flera exempel där BNP ändrats på grund av undersökningar, som blivit fel, tex SCBs ”Evryskandal” som jag skrivit om tidigare. Det ligger en enorm makt i de siffror som publiceras, och den makten måste tas på allvar. Vi har sett internationella exempel där denna makt missbrukats:

• Brexit: Genom att kommunicera en hög sannolikhet för ”Remain” via sannolikhetsmodeller, skapades en bild av att det var avgjort i förväg. Konsekvensen blev att valdeltagandet sjönk i ”Remain”-valkretsar, man kände att man ”slapp” gå och rösta, samtidigt som det ökade i ”Leave”-kretsar där väljare ville protestera utan att riskera att påverka slutresultatet.

• Global påverkan: Samma sak har hänt i, Danmark, USA och Colombia. Om vi som undersökare skulle påstå oss veta framtiden, slutar vi tala om nutiden och riskerar istället att påverka utfallet genom att påverka valdeltagandet. Vår roll är att mäta opinionen, inte att skapa den.

Förbud eller ansvar?

I Frankrike råder ett förbud mot att publicera mätningar precis innan valet. Detta beskrivs ofta felaktigt som ett förbud mot undersökningar, men det handlar om medial censur. Om oberoende institut tystas lämnas fältet fritt för rykten, desinformation och partiernas egna interna mätningar i sociala medier.

Lösningen är inte förbud, utan att vi som undersökningsföretag tar vårt ansvar, förblir oberoende och presenterar nuläget – inte framtiden. När kan det någonsin vara ett problem att få höra väljarnas faktiska åsikter?

Skillnaden mellan Riksdagsval och EU-val

För att återgå till relevansen av att vara ”bäst i valet” måste vi skilja på valtyperna. I riksdagsvalet ligger den teoretiska genomsnittliga felmarginalen idag på ca 1,1 procentenheter. Att ligga runt den bevisar metodens styrka, men exakt hur nära man kommer beror ofta på turen med de sista 4 procenten som byter fot i elfte timmen som en negativ påverkan på den upplevda träffsäkerheten.

I EU-valet ser vi dock det ”ärligaste” måttet på metodisk kvalitet:

1. Inga ”kryckor”: Det görs mycket färre undersökningar i Sverige kring det valet. Därmed saknas de ”modeller” och ”polls of polls” som förekommer i riksdagsval, och som kräver många oberoende, tillförlitliga mätningar för att kunna byggas inte finns där, för de kräver många oberoende tillförlitliga modeller för att kunna skapas. Även möjligheten till herding försvinner– alltså att man sneglar på andras genomsnitt och justerar sina egna siffror för att inte sticka ut. OM herding förekommer i Sverige kan inte fastställas, men vi har noterat liknande beteende i Sverige som har konstaterats som herding internationellt. Läs mer om det här

2. Lägre rörlighet: Väljarna tenderar här att stanna hemma snarare än att byta parti i sista sekunden. Därför stämmer ofta den sista barometern bättre överens med slutresultatet.

Att Novus varit absolut närmast utfallet i fem EU-val i rad är därmed ett tydligt bevis på att vår metodik håller högsta klass, och att den vetenskapliga grund vi bygger våra undersökningar på är tillförlitlig, även när det inte finns någon annan ”karta” att titta på under valrörelsen.

Valet är inte det enda facit

Trots att officiella val ses som det definitiva kvittot, finns det kontinuerligt andra viktiga referenspunkter. Novus coronaundersökningar blev exempelvis ett ofrivilligt metodtest. Vi var de enda som kunde berätta hur många som var sjuka och vilka symptom de hade. När offentlig statistik väl blev tillgänglig månader senare, kunde vi konstatera att samtliga våra resultat låg inom felmarginalen i förhållande till de officiella siffrorna.

Man bör därför inte betrakta ”bäst i ett val” som det enda måttet på kvaliteten i en undersökningsmetod. De etablerade företagens väljarbarometrar ligger alltid mycket nära varandra, om man räknar in de väljare som faktiskt ändrar sig efter mätperiodens slut. Ett enskilt val kan vara en indikation, men man måste utgå från den forskning som finns.

Om man enbart lutar sig mot ett enstaka resultat i ett enskilt riksdagsval, bör man se det som något som forskningen måste bekräfta innan metoden kan anses tillförlitlig. Särskilt i Sverige, där undersökningsmetoder som är baserade på den vetenskapligt beprövade Gallupmetoden val efter val har visat sig ge en rättvisande bild.

Vad ska man lita på?

All tillgänglig forskning visar att slumpmässiga urval överträffar självrekryterade (ovetenskapliga) undersökningar. Det finns inga exempel där ovetenskapliga mätningar haft rätt när de vetenskapliga haft fel. Det har dock funnits fall där de visar samma resultat, men då handlar det ofta om att de ovetenskapliga har kopierat de vetenskapliga genom att ”vikta” sina paneler tills de liknar våra siffror.

Offentliga val är en intressant måttstock, men att stirra sig blind på decimaler i ett riksdagsval är meningslöst om man samtidigt lämnar den vetenskapliga grunden för att börja gissa. Vi på Novus mäter verkligheten – vi försöker inte skapa den, inte heller gissa kring framtiden.