7 svåra synder från Demoskop

Varför avviker Demoskops väljarundersökningar från de resultat som Novus, Kantar Sifo och Ipsos levererar? Svaret är lika enkelt som anmärkningsvärt. Demoskop använder ovetenskapliga metoder och baserar sina resultat på skeva urval, som inte representerar det svenska folket.

Nyligen skrev Mats Edman en krönika i tidskriften Fokus med rubriken ”Fejk news i Aftonbladet). Den handlade om hur partiledarförtroendet i samband med regeringskrisen i sommar skiljde sig åt mellan å ena sidan Demoskop (Iniziopanelen) och Novus och Kantar Sifo å andra sidan.

Skillnaderna uppgick i flera fall till hela 10-15 procentenheter.

”Om de tre företagen arbetat med samma metodik borde värdena ha legat närmare varandra. Då måste man fråga sig om det är någon allvarlig brist som skiljer dem åt”, skrev han (https://www.fokus.se/2021/07/fejk-news-i-aftonbladet/).

Mats Edman jämförde de tre undersökningarna och kom fram till att de deltagare som svarat på Demoskops frågor avviker markant från de som deltar i Novus och Sifos riksrepresentativa paneler.

Han konstaterade att Demoskop använder både en avvikande metod och fått ett starkt avvikande utfall i sin undersökning av partiledarförtroende.

• Inizio är en självrekryterad webbpanel, vilket ökar risken för skevheter och fel. Självrekrytering är ett no-no för seriösa opinionsundersökare.
• Urvalet inte är obundet och slumpvis draget (OSU). Då går det heller inte att beräkna träffsäkerheten (felmarginalen), vilket är ett hygienkrav.

Demoskops vd slog omedelbart tillbaka. I en replik påstod hon att Edmans resonemang ”havererar fullständigt”. Demoskop brukar göra så när deras Iniziopanel ifrågasätts – kritikerna anklagas för att inte begripa hur ”modern och kvalitetssäkrad” Demoskops webbpanel är.

Mats Edman är inte ensam om att ifrågasätta Demoskops självrekryterade webbpanel. Fokus har även på reportageplats granskat märkliga resultatskillnader tidigare under 2021 (https://www.fokus.se/2021/04/som-man-fragar-far-man-svar/).

I många år har Dagens Eko månatligen publicerat ”Svensk Väljaropinion”, som är en sammanvägning av Novus, Kanta Sifo och Ipsos data. Ekot slängde ut Demoskop i oktober 2017 eftersom företaget då slutat använda obundna, slumpmässiga urval (OSU).

Det här är viktiga frågor för vår bransch och vårt anseende. Jag har faktakollat Demoskops olika påståenden i den senaste repliken till Fokus (https://www.fokus.se/2021/08/demoskop-edmans-resonemang-havererar/) och listar här 7 svåra synder i form av fel och vilseledande svar:

(1) ”Låt oss till att börja med konstatera att det inte finns något facit för frågan.”

Gör man en åsiktsmässigt representativ undersökning flera gånger så kommer man till samma resultat. En korrekt undersökning är facit. Om flera oberoende undersökningar kommer till samma resultat så är det ett facit från mer än en källa. Det är svårt att missa ironin i att Demoskops vd skriver att de inte har något facit. Varför gör Demoskop ens undersökningar?

(2) ”Till att börja med finns det inga möjligheter att själv välja att medverka i en undersökning med en specifik riktning.”

Vem som helst kan gå med i Iniziopanelen hur många gånger som helst, vilket är oacceptabelt. Självrekryterade paneler saknar vetenskapligt stöd.

(3) ”Vi bestämmer vilka som blir inbjudna att svara. Vi använder ett så kallat stratifierat slumpmässigt urval baserat på panelen och skapar därigenom ett representativt miniatyrsverige så att vi kan uttala oss om vad svenska folket tycker.”

Låter bra, men då paneldeltagarna främst rekryteras i anslutning till Aftonbladets krönikör Lena Mellin så får man en intressemässig skevhet (politiskt högintresserade?). Med en självrekryterad panel kan man aldrig hävda att man har ett riksrepresentativt urval. Den premissen gäller bara om undersökningsföretaget gör ett eget urval baserat på hela svenska folket. Och att en deltagare bara kan vara med en gång.

(4) ”Våra arbetssätt och metoder följer godkända internationella etiska branschregler, vi är aktiva i Statistikfrämjandet och Surveyföreningen och delar vår undersökningsdata med forskningen.”

Tidigare har Demoskop refererat till den amerikanska branschorganisationen AAPOR. Men Demoskops vd verkar inte veta att hon med Iniziopanelen faktiskt bryter mot reglerna hos AAPORS, liksom den internationella grenen WAPOR. Bägge tar tydligt avstånd från självrekryterade paneler (non-probability surveys): ”Any publicizing or promotion of such activities not only damages legitimate market and survey research, but can be very misleading when used to influence public policy or simply to disseminate information about the general public”.

(5) ”Våra arbetssätt och vår kompetens har rönt internationell uppmärksamhet”

Jo, man skrev visst ett ”paper” 2015. Statsvetaren Anders Sundell läste den rapporten och här är hans sågning:

https://politologerna.wordpress.com/2015/06/01/vad-tycker-sverige-egentligen-en-kritik-av-aftonbladets-valjarbarometer/. Och internationell uppmärksamhet kan man få bara för att det är avvikande. Det ”unika” här var att det var en kvällstidning som gjorde detta enligt Demoskops VDs eget uttalande på en direkt fråga. Men det som är talande är att ingen mig veterligen tagit efter Demoskops metod. Det säger något.

(6) ”Vårt framgångsrika arbetssätt bygger på en noggrann rekrytering till panelen, och genom ett omfattande kvalitetssäkringssystem och så kallad fraud detection-program har vi god kunskap om våra panelister.”

Vilseledande argument brukar framföras av de som säljer data från självrekryterade paneler. Problemets kärna är ju att panelerna inte består av ett åsiktsmässigt representativt urval deltagare. När undersökningsföretag inte rekryterar sina panelmedlemmar på egen hand är de hopplöst ute ur matchen. Dan Hedlin, professor i statistik vid Stockholms universitet, testade säger sig nu vara med som flera olika personer i Demoskops panel och deltar i undersökningar löpande.

(7) ”Internationellt är metoden brett etablerad och framgångsrik.”

Jag hittar inte en enda expert som säger att självrekryterade paneler fungerar bättre än etablerade metoder med slumpmässiga urval. I så fall hade vi också använt dessa för de är extremt mycket billigare. Men, som talesättet lyder, ”If you pay with peanuts, you’ll get monkeys”.

Listan över fel, vilseledande svar och bristande seriositet hos Demoskop är tröttsamt lång, och stannar dessvärre inte vid 7 synder. Den som vill ha ytterligare exempel kan dock vända sig direkt till mig.

Det Novus står för är tillförlitlighet och representativitet. Enda sättet att vara säker är att välja just de beprövade, vetenskapliga metoder som Novus och forskningen använder.

Torbjörn Sjöström

Vd Novus