Vad händer med förtroendet för opinionsundersökningar?

Efter en intensiv konferensvecka i St. Louis med WAPOR och AAPOR tar vi på Novus med oss flera viktiga insikter – om populismens utveckling, AI-hajpen och varför verkliga svar från riktiga människor är viktigare än någonsin.

WAPOR står för World Association of Public Opinion Research. AAPOR är den amerikanska motsvarigheten. I år var jag inbjuden att tala på båda konferenser i som hölls efter varandra i St Louis. Till WAPOR kom ca 150 deltagare från hela världen, och jag var den enda svensken, tyvärr pga visumproblem kunde ca 100 ytterligare besökare inte komma till USA.

AAPOR vad den stora delen, där ca 1000 deltagare från främst USA var med på den konferensen. Kontrasten från ”lilla” WAPOR och ”stora” AAPOR var slående för de av oss som var inbjudna som talare till båda. Jösses vad mycket folk!

Forskare från alla de stora lärosätena i USA var där, bl.a. de alla känner igen, tex Harvard och Stanford. Antalet svenskar kunde räknas på två fingrar, jag och en till.

WAPOR: Populism på agendan

Min presentation på WAPOR höll jag med forskare från ISSP. Vi presenterade ett brett angreppssätt på populismens framväxt globalt – hur samspelet mellan politiker och media skapat den grund som vi ser växa fram i så många länder i väst de senaste åren. Min presentation blev mycket uppskattad och vi kommer att göra den tillgänglig för alla som vill ta del av den i efterhand, genom att spela in den. Tyvärr fanns det inga möjligheter att spela in några föreläsningar på plats. Då det skedde många samtidiga presentationer var det flera som hörde talas om min presentation först efteråt och gärna ville se den. Jag vet också många i Sverige som är mycket nyfikna på min föreläsning om populism.

AAPOR: Så bygger vi förtroende

På AAPOR så delade jag programpunkt tillsammans med hela fyra f.d. AAPOR ordförande, väldigt hedrande att dela scenen med dem kring förtroende och transparens kring undersökningar.

Se beskrivningen av hela sessionen här

Jag berättade hur vi i Sverige, genom mitt och Novus arbete, lyckats stärka förtroendet för opinionsundersökningar. I snart 15 år har jag utbildat media om vad som skiljer vetenskapliga mätningar från ovetenskapliga. Resultatet? Nästan alla seriösa redaktioner i Sverige förlitar sig i dag på undersökningar baserade på slumpmässiga urval.

Men det finns tyvärr bakslag. Några redaktioner har börjat tumma på kvaliteten och släpper in självrekryterade undersökningar. Skillnaderna mellan dessa och de vetenskapliga undersökningar Novus, Ipsos och Kantar levererar är ofta slående – ibland som två parallella verkligheter. Där den krassa sanningen är att om man inte använder vetenskapligt beprövade metoder som nyhetsunderlag så använder man inte en tillförlitlig faktakälla. Kan det verkligen vara en nyhet om man inte vet om det är sant?

USA:s val inte längre en måttstock

USA:s senaste val visade tydligt att den amerikanska undersökningsbranschen befinner sig i kris. Kända aktörer drog sig tillbaka, medan nya och oprövade företag tog över. Undersökningarna blev misstänkt lika – så lika att de inte kan ha varit oberoende. När man inte längre vill sticka ut, tappar vi syftet med undersökningar: att visa hur verkligheten faktiskt ser ut.

Att säga att man måste lita på vetenskapen uppskattas av de flesta, men så många glömmer bort att försvara den kunskap som hela branschens förtroende vilar på. I USA till exempel är det intressant att medias publicerade undersökningar nästan uteslutande inte vilar på vetenskaplig grund, för media har inte råd att betala vad de kostar, och det finns många nya aktörer som gärna syns i media där. Men de etablerade undersökningsföretagen har alltmer slutat att släppa väljarbarometrar i USA. Däremot använder partierna endast undersökningar baserat på vetenskapliga metoder.

Media har inte råd att göra rätt. Partierna har inte råd att ha fel.

Men dessa två världar möts sällan, mediebilden blir en missvisande bild om hur opinionsundersökningar inte fungerar längre, trots att de etablerade undersökningsföretagen i USA inte ”spelar spelet” straffas de av den generella misstron som med rätta finns mot de gratisundersökningar som media använder. Vilket leder till både minskad betalningsvilja, och tappad tilltro till forskning och seriösa undersökningsföretag.

Här avviker Novus taktik. Vi levererar endast undersökningar baserade på vetenskapligt beprövade metoder, även till media. Tyvärr finns inte betalningsmöjligheten hos svensk media heller, men vi ser att det är ännu sämre PR om vi inte visar hur man gör riktiga undersökningar även i media. Utan som sagt utbildar dem i hur man nyhetsvärderar riktiga undersökningar och förstår att dåliga undersökningar inte kan vara underlag för en nyhet. Är det inte sant kan det inte vara en nyhet.

Scott Keeter från PEW berättade också samtidigt om en mycket intressant kurs om opinionsundersökningar de tagit fram.

Public Opinion Polling Basics

Något jag gärna gjort en svensk motsvarighet till om vi hade haft resurserna.

Gratisdata och syntetiska svar – en falsk trygghet

Forskning kräver data. Men när budgeten saknas blir det lätt att man använder tillgängliga data från exempelvis Twitter, eller bygger analyser på ovetenskapliga självrekryterade paneler. Resultaten riskerar att bli djupt missvisande – men ändå ges de en akademisk glans som vilseleder både media och beslutsfattare.

Särskilt problematiskt är användningen av så kallade ”syntetiska respondenter” – AI-genererade personer som ”svarar” på frågor. Det låter smart. Men det är bara en illusion. Svaren är fabricerade och bygger inte på verklig kunskap – bara gissningar.

AI – potential med risker

AI var ett återkommande tema på konferenserna. På Novus använder vi AI för att sammanfatta öppna svar – där fungerar det för att ge en överblick, vi testar löpande ny teknik. Men i mer avancerade tillämpningar kräver det så pass mycket validering att det ofta inte är värt det. Eftersom undersökningar också ofta används för att ta fram ett facit, då kan man ofta inte ens validera hur tillförlitligt AI:s svar eller analys är i förhållande till verkligheten.

Den röda tråden i alla AI presentationer jag och andra såg var att vinsten är mycket tvivelaktig. Resultatet kan vara helt felaktigt, det kan hallucinera.

AI-genererade ”syntetiska respondenter” låter smart, men är bara en illusion. De skapar svar utan verklig grund, vilket kan vilseleda både forskare och beslutsfattare. Något som återkommande kom upp under konferensen, många experimenterade med AI för att se vad som hände, men alla kom fram till samma som Johan Martinsson på Demoskop kom fram till i det AI experiment han presenterade på AAPOR: Syntetiska svar är inte tillförlitliga.

Som en föreläsare från Pew konstaterade, det är oklart om vinsten att med AI finns, om man ändå måste validera precis allt. För att validera måste man ju redan veta vad som är rätt, då faller också AI som syntetiska respondenter på eget grepp. Eftersom undersökningars roll är att ta fram fakta som man inte redan känner till. Vet man att AI gissar, och kanske tom hallucinerar, så kan man ju inte verifiera det om man inte redan vet vad svaret skall vara.

Automatisering har sin plats, här kan AI vara till hjälp. Men inte för att gissa/simulera vad människor tycker, artificiell intelligens ger artificiella åsikter. Det kan se ut som en riktig bild av folkets åsikt, men är det inte, man kan förlora enorma pengar om man tar affärsbeslut på artificiella åsikter i stället för riktiga åsikter.

Slutsats: Fakta och kunskap kostar – att gissa är dyrt

Det är dags att påminna om det som borde vara självklart: Undersökningar handlar inte om att förutsäga framtiden, utan om att ge en korrekt bild av nutiden. I en värld där förändringarna är snabba och oförutsägbara – från pandemier till elkriser – är rätt insikt vid rätt tidpunkt avgörande.

Att gissa fel kan bli dyrt. Ofta mycket dyrare än kostnaden för att göra en vetenskaplig undersökning.

”Opinionsundersökningens roll är att ge facit i frågor där vi inte vet svaret – inte att gissa rätt i efterhand.”

Vill du veta mer om WAPOR eller hur du blir medlem? Hör gärna av dig! Sverige behöver fler röster i den internationella dialogen om forskning och undersökningskvalitet.

Du kan också läsa mer på WAPORs hemsida här