Varning för den falska folkviljan

Nyheten om att Michael Cohen försökte påverka undersökningarna i USA genom att betala en IT firma är ytterligare ett tecken på hur lättpåverkat och sårbart det är när man inte gör riktiga undersökningar med  slumpmässiga urval.

Cohen betalade en IT firma för att lyfta Trumps namn i två online undersökningar. Svindlande $50 000 satsades på detta enskilda fall.

NY Times om Cohens försök att påverka undersökningar

I USA är nästan alla urval självrekryterade, mao vem som helst kan registrera hur många mailadresser som helst.

Faran med det är att man inte alls kan säkerställa att det är folkviljan man fångar. Vi har gång på gång visat hur osäkra urval leder till osäkra resultat. Forskningen är också entydig. Jon Krosnick på Stanford i USA sa till mig senast vi talades vid att självrekryterade aldrig har funkat bättre än underasökningar med slumpmässiga urval (riktiga undersökningar). Han har studerat detta i över 10 år. I oktober 2018 publicerades en studie (i public opinion quarterly, tyvärr krävs inloggning för att läsa) som bl.a. jämförde 2004 och 2012 års data, riktiga undersökningar på web och telefon fungerade bäst, trots att bortfallet på telefon hade ökat med 15 procentenheter. Från 30 % svarsfrekvens till extremt låga 15% svarsfrekvens (Novus har fortfarande mellan 40-50% det extrema raset i USA ser vi inte i Sverige). Trots det höga bortfallet i USA fungerade telefon bättre än självrekryterad web. Problemet med bortfallet extremt överdrivet som jag tjatar och tjatar om. Det var till och med så att de viktningar som gjordes på självrekryterade urvalet gjorde saken sämre i vissa fall.

Metodmässigt finns det (fortfarande) inga magiska trick att förbättra ett dåligt urval, om man inte redan vet resultatet man skall komma fram till… Vet du svaret varför göra undersökningen?

Inte nog med det, effekten av osäkra undersökningar är att man presenterar en falsk folkvilja, kanske (som i fallet Trump ovan) utsatt för aktiv påverkan. En påverkad missvisande bild av väljarnas åsikt.

Eller som i Yougov-hedgefond undersökningen, som visade fel resultat, men den betalande kunden hedgefonden tjänade miljoner på att Sky news publicerade en felaktig folkvilja. Undersökningen var inte vad vi vet påverkad, bara missvisande och hade självrekryterat urval. Man utnyttjade resultatet, det spelade faktiskt ingen roll om det var rätt eller fel då. Hedgefonden tjänade pengar på en upplevd sanning för stunden.

Engelska undersökningsföretag som säljer hemlig undersökning till hedgefond

Sommartiden i EU som Juncker refererade till som “folkviljan”. Om den är aktivt påverkad eller inte vet jag inte, men jag skulle inte bli förvånad om även det var ett försök att påverka. En online undersökning på EU kommissionens hemsida är klockren att gå in och påverka för att se hur politiker agerar. Oavsett påverkan eller inte är det absolut inte folkviljan. Precis som det inte var i USA kring nätneutraliteten. Extremt populistiskt av EU kommissionen att agera på falsk folkvilja

Det finns bara ett sätt, och det fungerar fortfarande fantastiskt bra, det är att göra riktiga undersökningar med slumpmässiga urval. Då får man fram folkviljan. Då är man inte sårbar för påverkansaktioner. För det går inte att registrera en massa e-postadresser, man kan inte själv ansöka om att gå med. Personerna måste slumpmässigt bli utvalda av oss som undersökningsföretag.

Undersökningar är inget att ta lätt på, en publicerad undersökning påverkar. Då media behandlar det som en sanning. Det skall man göra med bra undersökningar, men absolut inte med dåliga självrekryterade. Saknas felmarginalen så saknas säkerheten i sanningshalten. Seriösa redaktioner publicerar inte osäkra rykten, och det är därför som SVT, SR, TT och några till INTE publicerar resultat från självrekryterade undersökningar. Läs mer om checklistor här

Under perioden med politisk vakuum i Sverige har det varit enorma svängningar i undersökningar som saknar felmarginaler. Centern rasade i expressens väljarbarometer (vi såg inget ras då…). Förtroendet för Annie Lööf rasade och rusade i Aftonbladet. (vi såg inget ras eller rus för C i väljarbarometern då är ett ras eller rus i förtroendet osannolikt, vi såg en nedgång för förtroendet för Lööf i slutet på November, men ras är att ta i). Men att det sker i självrekryterade paneler är inte så konstigt… Att det skett i verkligheten är inte så troligt… Utöver det har det generellt varit rätt slarvigt med många rapporteringar kring undersökningar. Stora växlar har dragits på osäker data. Spekulationerna har haglat tätt och underlaget tunt. Kommer antagligen tyvärr behöva återkomma till det snart igen.

Torbjörn Sjöström

VD

Novus