Under almedalsveckan och nu efter sommaren har SvD/Demoskop två gånger haft ett stort nyhetsfokus på Kristerssons tappade förtroende, att Åkesson har gått om Kristersson. SvD följde sedan upp om ”vems fel” man inom regeringen ansåg att detta ras bland svenska folket berodde på.

Ett ras ni kommer att se aldrig fanns. Som inte bara skapade nyheter utan också stor oro inom Moderaterna och spänning mellan ministrarna.

Här har jag sammanställd Novus, Ipsos och Demoskops partiledarförtroende för augusti, sorterat efter de största skillnaderna.

Först, ser ni hur lika Novus och Ipsos är? Två undersökningar som undersöker samma sak BÖR visa i stort sett samma resultat, sen finns det felmarginaler som gör att det kan skilja sig lite. Sen, ser ni Demoskop? Ett ju helt annat resultat

Precis samma sak hände i maj/juni, Novus och Demoskop släpptes inom loppet av någon dag i juni. Ipsos/DN kom i maj, även här är Novus och Ipsos mycket lika, lite större skillnader, men samtidigt inte genomförda så nära varandra som i augusti, en förklaring till skillnaden kan vara att människor ändrat lite åsikt mellan dessa genomfördes. T.ex. är Novus den enda som har Mohamsson. Demoskop återigen ett helt annat resultat, trots att syftet med undersökningen är densamma för alla tre.

Det Novus och Ipsos/DN har gemensamt är att använder vetenskapligt beprövade tillförlitliga metoder. (TV4, DN, SVT, SR, TT har också det som krav för att kunna nyhetsvärdera en undersökning). Här finns Novus policyråd för redaktioner, som ger lite mer inblick i hur man skall tänka som journalist.

Vi väljer ut slumpmässigt de vi frågar för att kunna skapa ett åsiktsmässigt representativt resultat. Vi väljer slumpmässigt ut svenskar som vi sedan frågar. Det leder till att undersökningen stämmer med svenska folkets åsikter. Kravet för en tillförlitlig undersökning och följer den vetenskap vi har kring undersökningar.

Demoskops undersökningar* gör inte det, de använder ett s.k. självrekryterat urval, de som vill svara söker upp Demoskop och säger att de vill vara med. Bl.a. genom Aftonbladets hemsida där man kan gå med i panelen. Man behöver bara ha en epost adress. Det finns ingen kontroll om samma person har en eller flera, om man bor i Sverige, om man ens är en människa och inte ett AI… När man arbetar med självrekryterade paneler, lämnar man vetenskapen och tillförlitligheten. Man lämnar möjligheten att säga att resultatet stämmer med svenska folkets åsikter (därför de . Man kan bara säga att man fått in så här många svar och andelen av de svar man fått fördelar sig så här. Alltså skall man vara petig så undersöker inte Demoskop svenska folkets åsikt, för det klarar inte den metoden av att redovisa. Men på så sätt så kan man ju också säga att Demoskop undersökning också har rätt, det är bara inte svenska folkets åsikt de redovisar… Men den tolkas som svenska folkets åsikt, och jag tror att journalisterna som skriver om detta tror det är svenska folkets åsikt man undersökt.

Detta är inte enda gången som Demoskops icke slumpmässiga undersökningar avviker, under förra valåret såg jag en genomgående trend, att Demoskop/Aftonbladet tenderade att överskatta SD, underskatta M och C. Både i väljarbarometern men också i andra politiska undersökningar.

De hävdar ofta att de var närmast i valet, och det (anekdotiskt) ”bevisar” deras metod, det dom glömmer att nämna är att i augusti under valåret så försvann den avvikelse jag noterat, demoskops undersökningar närmade sig Novus, Ipsos och Kantars väljarbarometer de sista skälvande månaderna innan valdagen. Och när Demoskop var ”närmast” så avvek deras resultat med några decimaler från vad Novus, Ipsos och Kantars väljarbarometrar visade, alltså de blev lika oss andra, från att avvikit rejält alla andra undersökningar.

Novus, Ipsos och Kantars väljarbarometrar gav ungefär samma bild av väljaropinionen under hela denna period, det var bara Demoskop som avvek, för att sedan sluta avvika när det närmade sig valet.

Vi skrev lite om det för ett tag sedan här: Poll of polls VS. ”självrekryterade urval” i valet 2022

Om tre undersökningsföretag som alla använder vetenskapligt beprövade metoder, ger en likvärdig bild under hela valåret, och en ovetenskaplig avviker för att sedan närma sig de vetenskapliga de sista mätningarna, ja då skulle inte jag ifrågasätta de vetenskapliga undersökningarna i alla fall.

Precis som skillnaden mellan den bild Novus och Ipsos/DN ger kring partiledarförtroende och den totalt annorlunda som Demoskop återigen ger…

Nu går vi in i ett valår, och journalistisk baserat på opinionsundersökningar har en direkt effekt på partiernas agerande nu. När SvD gör en stor sak baserat på en ovetenskaplig undersökning, vars resultat markan avviker från både Novus/Tv4 eller Ipsos/DN.

Jag önskar en mer kritisk nyhetsbevakning kring konstiga publiceringar baserat på ovetenskapliga undersökningar.

Varför det skiljer sig?

Det vi vet är att självrekryterade paneler historiskt varit lätta att manipulera, och att vissa partiers sympatisörer är mer nätaktiva än andra. Cints börskurs kollapsade när de rapporterade om stora problem med bedrägeri, där majoriteten av deras respondenter är självrekryterade.

De som arbetar med ovetenskapliga metoder hävdar att de ”viktar” för att korrigera detta. Men det är inte viktning på det sätt som görs i tillförlitliga undersökningar.

Vi använder viktning för att korrigera skevheter i demografin, har vi pga slumpen fått in 51 % svar från kvinnor och 49 % svar från män, när det bor 50% kvinnor och 50% män så viktas kvinnors röst ned och män upp motsvarande den enprocentiga skillnaden i fördelning.

Hur man ”viktar” i självrekryterade paneler är att man tittar på felaktiga åsikter och korrigerar. Anser man att man fått in för många av en viss åsikt så minskas den. Eller som Demoskops VD sagt, ”allas svar samlas in men alla svar räknas inte”, samt att man viktar på ”hur många som gillar chokladglass”. Hur vet man hur många som gillar chokladglass och hur ”viktar” man resultatet efter det? Ersätt chokladglass med åsikten man undersöker.

Jag har länge funderat hur de kan bestämma vilka åsikter de tycker är korrekta och vilka som behöver ökas eller minskas med ”viktning”?

Tillförlitliga undersökningars uppgift är att ta fram en korrekt bild av en befolknings åsikter, inte ”vikta upp eller ned” baserat på hur man tror att åsikterna borde vara…

Novus är ett svenskägt oberoende undersökningsföretag, vi har inga ägarkopplingar till lobbyister, friskolor eller andra intressen.

Torbjörn Sjöström

VD

Novus

* Demoskop skriver att deras undersökningar ”speglar svenska folket”, det är sannolikt en förkortning av referensen att deras undersökning speglar svenska folkets demografiska fördelning med förhållande till Ålder, kön och region, jag har för mig de skrev så innan. Alltså de har frågat en motsvarande andel kvinnor män, åldrar etc. Vilket sannolikt är sant, så man kan säga att de har en demografiskt representativitet på dessa parametrar. Men inte att de har en åsiktsmässigt representativ undersökning. För det faktum att man inte har ett slumpmässigt urval, utan människor själv söker sig till undersökningsföretaget så får man en åsiktsmässig skevhet.

Men det är också så att eftersom man bara behöver en epost adress, så vet man inte ens om kön, ålder, eller andra demografiska parametrar stämmer. Man vet inte ens om det är en trollfabrik i s:t petersburg eller ett AI som anmält sig att svara på deras undersökningar.

Alltså inte att de ”speglar” svenska folkets åsikter, som man nog vill att det skall se ut som.

Vi på Novus säger att våra undersökningar är åsiktsmässigt representativa för t.ex. Svenska folket i åldern 18-84 år. Det är ju faktiskt det man är ute efter.