Nu ser vi det igen. Den senaste tidens rapportering om partiledarförtroende har återigen svängningar. Det skapar onödig oro och missuppfattningar hos väljare, journalister och politiska aktörer. När det rapporteras om stora tapp eller oväntade uppgångar får det oftast direkta konsekvenser, felaktiga slutsatser och i värsta fall politiska beslut baserade på fel underlag.

Det viktigaste att förstå är detta:

Om ett resultat avviker kraftigt mellan flera institut handlar det nästan alltid om metodskillnader, inte att opinionen plötsligt förändrats. Resultat från undersökningsföretag som använder vetenskapligt etablerade metoder brukar ligga nära varandra.

Grunden för alla seriösa mätningar av allmänheten är att de personer som deltar har valts ut genom ett slumpmässigt urval. Det innebär att initiativet till att delta kommer från undersökningsföretaget, inte från individen. Om en mätning ska visa hur svenska folket faktiskt tycker måste alla, oavsett engagemang eller åsikt, ha en chans att bli tillfrågade. Den metoden gör det möjligt att beräkna felmarginaler, analysera statistiska skillnader och undvika att överaktiva grupper dominerar resultaten.  

Undersökningar som inte använder slumpmässiga urval bygger på att människor själva anmäler sig till dessa undersökningar. Detta brukar kallas för självrekryterade urval. Då mäter man inte det svenska folket, utan en grupp som valt att delta på eget initiativ. Den gruppen är aldrig representativ för hela svenska folket. Det vet vi både genom Novus omfattande parallellstudier och internationell forskning.

När vi jämför data mellan institut som använder slumpmässiga urval ser vi däremot små skillnader och stabila trender över tid. I november hade de två institut med slumpmässiga sannolikhetsurval exakt samma inbördes ordning mellan partiledarna, vilket visar att rangordningen faktiskt speglar hur svenska folket värderar partiledarna. I mätningen som bygger på självrekrytering avviker framför allt partiledare som väcker starkare känslor, något som är ett av kännetecknen av självrekryterade urval.

Det är också viktigt att komma ihåg att även två vetenskapligt genomförda mätningar med samma urval kan skilja sig något i nivåer. Förtroendet påverkas av dagliga händelser, och om mätperioderna skiljer sig kan den ena undersökning fånga ett utspel eller en nyhet som den andra inte gör. Dessa variationer ligger helt inom vad man kan förvänta sig och förändrar heller inte helhetsbilden.

Om ni ser på bilderna nedan visar vi hur läget ser ut i november och augusti mellan de olika institut.

Man behöver komma ihåg att politiska frågor väcker känslor

Skillnaderna blir ofta extra stora i frågor som väcker känslor, så som partiledarförtroende och väljarfrågor. Personer med starka åsikter är mer benägna att anmäla sig till paneler eller undersökningar där man själv kan ta initiativet att delta. I en undersökning med självrekryterade urval får opinioner större genomslag, vilket gör att vissa partier eller partiledare kan framstå som betydligt starkare eller svagare än vad de egentligen är. Oftast är det ytterkantspartier som avviker när urvalet bygger på självrekrytering. Det handlar alltså inte om att opinionen plötsligt förändrats, utan om att metoden fångar ett engagemangsmönster snarare än en representativ bild av det svenska folket, vilket i sin tur skapar dramatiska rubriker.

När urvalet är slumpmässigt blir bilden betydligt stadigare eftersom den är baserade på hela befolkningen inte bara de mest engagerade.

Hur går man till väga?

När allt fler seriösa, etablerade redaktioner använder mätningar utan tillförlitlig metodik så behöver man som väljare, journalist och politiker ställa enkla kontrollfrågor. Är urvalet slumpmässigt? Om nej, då är det inte en representativ mätning. Går resultatet att förklara av yttre händelser? Om nej, då är sannolikheten stor att metoden avviker från vetenskaplig metod. Ligger andra vetenskapliga undersökningar nära varandra? Om ja, då är det den bilden som är mest tillförlitlig.

Korrekt metodik är avgörande för att beskriva verkligheten. Vi måste kunna ha en dialog och transparens kring dessa frågor. Opinionsundersökningar är en del av det demokratiska ekosystemet och därför måste den vila på en stabil vetenskaplig grund.

Vi förtjänar fakta som speglar verkligheten och framför allt; en offentlig debatt som bygger på tillförlitliga mätningar med vetenskapliga metoder, inte metoder med lägre insamlingskostnad.

Mikael Ohlsson

Kvalitetsansvarig på Novus