Det finns flera faktorer som kan påverka resultaten av opinionsundersökningar, som hur frågorna ställs och när undersökningen genomförs. Opinionen kan skifta snabbt på grund av ny information, händelser eller kampanjer. Den amerikanska forskaren Jon Krosnick lyfter svårigheten med att förutsäga framtiden baserat på opinionsundersökningar – och vilka faktorer som är avgörande för en riktig tillförlitlig undersökning.

De opinionsmätningar som genomfördes inför presidentvalet 2016 visade tydligt att Hillary Clinton skulle bli USA:s första kvinnliga president. Så blev det inte. Något som bidrog till att flera amerikanska medier påtalade att opinionsmätningar är missvisande och inte går att lita på. Under ett webbinarium i samarbete med WAPOR (World Association för Public Opinion Research, internationell medlemsorganisation för forskare inom området undersökningsforskning reds.anm), förklarar Stanfordforskaren Jon Krosnick varför opinionsmätningarna inte kunde förutspå valresultatet.

Väljarrörlighet och avsaknad av ett slumpmässigt urval påverkade

De sista dagarna innan ett val råder hög väljarrörlighet i många länder, bland annat USA och Sverige, vilket innebär att en stor andel av väljarna ändrar sig, eller till och med inte röstar alls. Väljarrörlighet kan påverkas av en rad olika faktorer, som exempelvis medias rapportering eller politiska kampanjer. Det är också därför som undersökningar egentligen inte förutsäger framtiden utan ger en bild av nutiden. Men de används ofta som en framtidsprediktion. I en tid då väljare inte ändrar sig som de gör nu, var det inte så stor skillnad mellan vad man skulle rösta på om det var val idag, och vad man röstar på valdagen. Men den tiden är sedan länge förbi. Definitivt i USA, men också i Sverige.

Jon Krosnick berättar att inför presidentvalet i USA 2016 gjordes enbart sex procent av alla undersökningar i USA på samma sätt som exempelvis Novus Väljarbarometer. 47 procent bestod av Online River Sampling som är en metod för att samla in data från ett varierande antal människor online. Metoden kan ge snabb och omfattande data om en grupps uppfattningar, men har svårt att visa en representativ bild, eftersom metoden inte tar hänsyn till exempelvis målgrupp. Google var ett av de företag som upprättade den här typen av metod för att läsa av vem personen bakom skärmen var som tackade ja till att genomföra en undersökning, det resulterade dock i sådana felmarginaler att tjänsten till sist plockades ner av Google. River sampling har färre problem än självrekryterade paneler, men de är kusiner och båda saknar det vetenskapliga stöd som riktiga undersökningar har som baseras på slumpmässiga urval. Novus genomför bara undersökningar baserat på slumpmässiga urval.

Det är dock inte webbaserade undersökningar som Krosnick kritiserar. Kampen gällande undersökningspaneler handlar inte om internet ”mot” telefon. Det går att göra slumpmässiga urval både online och per telefon. Det är istället frågan kring självrekryterad panel eller slumpmässigt urval som är avgörande.

Inga bevis på att självrekryterade paneler fungerar

En rapport från AAPOR (American Association for Public Opinion Research, medlemsorganisation för opinions- och undersökningsforskare reds. Anm) lyfter de stora utmaningarna med en självrekryterad panel och visar på bristande kvalitet i resultaten av undersökningar utförda på det sättet. Rapporten visar att politiska undersökningar med självrekryterade paneler kan visa likvärdiga resultat som en undersökning utförd med ett slumpmässigt urval. Något som lett till att feltolkningen att självrekryterade undersökningar faktiskt fungerar, trots att det hittills inte har gått att bevisa att det faktiskt gör det.

Viktning kräver slumpmässigt urval

Krosnick visar också att viktning inte fungerar på River Sampling eller självrekryterade paneler. Ofta leder det till att undersökningen blir mer missvisande.

Vid undersökningar som arbetar med slumpurval, alltså där man slumpmässigt väljer ut de man skall fråga och alla i gruppen man vill förstå har en sannolikhet att bli utvald så kan det hända att man får en liten under eller överrepresentation på någon grupp. Till exempel, om målgruppen består av 50 procent män och 50 procent kvinnor. Men undersökningen via det slumpmässiga urvalet har fått svar med en fördelning på 49 procent män och 51 procent kvinnor. Kvinnornas röst är lite överrepresenterad. Då minskar man hur stor ”vikt” kvinnornas svar har så att de stämmer med hur fördelningen verkligen ser ut. Det kallas viktning, men teorierna för viktning kräver att det är ett slumpmässigt urval. Viktning mot ett slumpmässigt urval gör resultatet lite bättre, men påverkan är liten. Däremot används det felaktigt som en lösning att säga att en undersökning ”speglar svenska folket” genom att säkerställa att man efter viktning har en jämn fördelning på de demografiska parametrar man viktar mot, exempelvis kön, ålder etc. Genom att göra det på ett slumpmässigt urval får man en ännu bättre åsiktsmässig representativitet. Men på ett självrekryterat urval får man inte den åsiktsmässiga representativiteten genom att vikta. Vilket Krosnick återigen visar i sin dragning.

”Helt avgörande att undersökningen är tillförlitlig”

Novus har kontakt med de bästa forskarna och undersökningsföretagen i världen och vår vd Torbjörn Sjöström är medlem i WAPOR som höll i webbinariet med Jon Krosnick.

– Det man ofta glömmer är att oftast är att enda information som finns en undersökning. Då är det ju helt avgörande att undersökningen är tillförlitlig och då baseras på de metoder vi idag vet fungerar. Därför har Novus hela tiden förordat undersökningar baserat på slumpmässiga urval. Vi tar betalt för tillförlitlig kunskap. Vi kan ju inte ta betalt för något vi inte vet fungerar, säger Torbjörn Sjöström och fortsätter:

– Novus egna studier bekräftar hela tiden forskningen, men det är bra att forskningen själv är tydlig med detta. Jon är en av de bästa forskarna som finns i undersökningsvärlden. Att han är så tydlig med vad som fungerar och vad som inte gör det är bra. Forskarna vet detta, men ofta missar de att informera alla andra. Röster som Jons behöver höras oftare utanför forskningsvärlden.

Jon Krosnick är professor i statsvetenskap, kommunikation och psykologi och chef för forskningsgruppen för politisk psykologi vid Stanford University i Kalifornien. Krosnick har arbetat som konsult för statliga myndigheter, universitet och företag, vittnat som expert i domstolsförhandlingar och varit kommentator under valvakan i USA. Krosnicks forskning fokuserar bland annat på utformningen och metodiken för undersökningar. Han har även forskat om hur väljare bestämmer sig och hur kampanjer kan påverka dem. Han har dessutom publicerat ett flertal studier som ifrågasätter användningen av opt-in-undersökningar på internet eftersom dessa inte utgör ett slumpmässigt urval.

(Fotot från när Torbjörn Sjöström var inbjuden att föreläsa på Stanford för Jon:s studenter, Jon till vänster)

Vill du ta del av John Krosnicks webbinarium i sin helhet och lära dig mer om skillnaden på tillförlitliga och icke-tillförlitliga undersökningar är den i sin helhet nedan: