Valet är klart, vem var bäst?

Igår var jag på en valanalys tillsammans med KG Bergström, intressant på många sätt. Där försökte jag förklara att det inte går att säga vem som var bäst, för att väljarbarometern inte förutsäger framtiden, utan jobbar med nutiden. Hans kommentar var då denna: “Det hade du aldrig sagt om ni inte var så dåliga”, “Demoskops och Inizios prognoser var bättre”, “Hur kunde de fånga förändringar som ni missade?”

Ja, vad skall man säga…

Det var liksom ingen idé att prata mer om det igår.

Vem var bäst då? Undersökningsbranschen vann! Om man tittar på de metoder som har slumpmässiga urval som grund var valresultatet ingen överraskning. Men även om man inräknar de förändringar så var det inte så att man kan säga att undersökningar inte gav en rättvisande bild innan valet, och under denna mandatperiod.

Ni som läser bloggen vet att en undersökning inte är en framtidsförutsägelse. Att Moderaterna och Socialdemokraterna gick upp de sista dagarna. Att vi i Novus väljarbarometer inte kunde se M och S uppgång på torsdagen när vi slutade undersöka. Och vårt mål är INTE att förutsäga valresultatet. Vi är inga spågummor. Det unika i år var väljarrörelsen som skedde mycket sent. KD:s uppgång kom sent, men den såg vi. Däremot uppgången för S och M kom ännu senare.

Men om vi nu struntar i det och tittar på siffrorna. Vem var egentligen “bäst”?

Genomsnittliga felet brukar vara det man tittar på. Gjorde några grafer här, uppdaterat med de senaste valresultatet.

Undersökningarna är ordnade efter när dom publicerades. VALU och TV4 kom på valdagen. SKOP, och Aftonbladet publicerades den 8 sept, Demoskop, Sifo, Novus den 7:e, Ipsos den 6:e, Yougov den 4:e och Sentio den 31 augusti.

Förresten en not om VALU, den publicerades på valdagen, men datainsamlingen var hela veckan. Den enda som bara hade datainsamling på valdagen var TV4, om jag inte missat något om den.

Det som är mest intressant är Socialdemokraterna. Alla hade för lågt där.

I eftervalsundersökningen kan jag se att det beror på en mycket sen uppgång för S. Efter vi slutade undersöka så gick S upp rejält. Något som var omöjligt att se i undersökningen på torsdagen.

Moderaterna likaså. Alla utom Aftonbladet underskattade M. Varför Aftonbladet inte gjorde det är okart, det kan lika gärna vara slumpen. Att hävda att man har en skameffekt på M tror jag ingen skulle argumentera för. För Moderaternas uppgång kom efter att vi slutat undersöka, enligt Novus eftervalsundersökning.

Att V överskattades är en följdeffekt av att S uppgång inte fångades upp.

I Novus väljarbarometer kan vi även förklara SD:s “överskattning” genom sena rörelser till M. Skrev förresten om det ett par veckor innan valet. Jag hade med andra ord inte helt fel i min tanke i augusti om att M skulle få stödröster från SD.

Hur är det med metodjämförelser? Alla undersökningar baserat på slumpmässigt urval, mao de som det finns ett vetenskapligt stöd för visade en samstämmig bild. Alla missade M och S sena uppgång, för de förflyttningarna hände efter undersökningarna gjordes. Demoskop hade ytterligare en dags undersökning, vilket kan gjort att de fångade lite mer av förändringen. Eller så är det bara slumpen.

De självrekryterade är mer splittrade. Aftonbladet/Inizio utropade sig själva som vinnare. Äntligen kan vi börja prata om metodutveckling och transparens, skrev Karin Nelsson Inizio på sin Facebook. Förresten, jag skulle verkligen se lite transparens från dem. De har skrivit om att det inte är urvalet som räknas utan det är hur man behandlar datat. Inizios VD har sagt att man måste vikta på åsikter, eller som han sa “om man gillar chokladglass”. Samtidigt är man jättenoggrann med att säga att man inte gör det i väljarbarometern. Jag får inte ihop det. Man vet inte hur stor panelen är eller vilken svarsfrekvens de har. Inte heller hur de kan bearbeta sin data utan att bearbeta den på annat sätt än vi andra gör med våra slumpmässiga urval.

Inizio är i mina ögon outlayern kring de självrekryterade urvalen. De urval som saknar vetenskapligt stöd. Yougov och Sentio är mer samstämmiga, och påvisar just de “aktivistbeteenden” som är så lätt att råka ut för om man har en självrekryterad panel. Mao de som vill påverka är mer troliga att vilja vara med för att säga sin mening. Det kan även vara så att man verkligen vill visa hur viktig en fråga är, att man registrerar sig några extra gånger.

Dan Hedlin skrev om detta kring bland annat Inizios panel. Varför det inte syns i deras valundersökning, men samtidigt är så otroligt påtagligt i de andra självrekryterade förstår jag inte. Därför vore den transparensen man pratar om mycket intressant att se.

Vem var bäst då? Undersökningsbranschen vann! Om man tittar på de metoder som har slumpmässiga urval som grund var valresultatet ingen överraskning. Men även om man inräknar de förändringar så var det inte så att man kan säga att undersökningar inte gav en rättvisande bild innan valet, och under denna mandatperiod.

Bara man struntar i att titta på de självrekryterade panelerna. För där har vi problem, delvis att två av dom var extremt missvisande och den som inte var det låg i linje med traditionella metoder. Att säga att någon undersökning var överlägsen någon annan är faktiskt bara fånigt. För det har aldrig varit sant i Sverige. Däremot kan vi konstatera att SD inte underskattades den här gången, och att det är fel att påstå att SD inte kan undersökas i Sverige. Så nu kanske vi slipper höra det tramset. Vi kanske också slipper förklara att ett aktivistbeteende inte kan misstas för att vara folkviljan, utan istället faktiskt lita på den vetenskap som finns.

Visst ska vi jobba med metodutveckling, men att kasta ut fungerande metoder pga någon absurd förändringsvilja är bara dumt.

Torbjörn Sjöström

VD

Novus