Det ironiska med bortfallets vara eller inte vara

Novus är idag Sveriges mest kända undersökningsföretag. Hit har vi kommit för vi tar ansvar för det vi gör och kan underbygga våra resultat med vetenskap och kunskap, samt en bevisat god historisk tillförlitlighet. Därför litar nyhetsredaktioner och företag på våra undersökningar som underlag för sitt arbete. En tillförlitlig undersökning är ett viktigt verktyg både i bl.a. affärsutveckling och nyhetsrapportering.

Kring undersökningars tillförlitlighet pratas det ofta om att bortfallet är det centrala problemet för oss som bransch.

Novus är vad jag vet idag det enda företag som regelbundet redovisar bortfallet. Vi redovisar det som en del av vår vilja att vara tydliga med vad vi gör. Det är också så att både SR och SVT bett undersökningsföretag att redovisa det för att de lättare skall kunna nyhetsvärdera undersökningar. Men vad jag vet är det bara vi som hörsammat detta.

Demoskop säger att de inte kan ange ett bortfallsmått. Yougov likaså. Kantar-Sifo kan men gör det bara någon enstaka gång. Ipsos tror jag fortfarande gör det i ibland. SCB redovisar bortfallet också, men de är inte ett undersökningsföretag utan en statistikmyndighet.

Det ironiska med att vi är ensamma om regelbunden redovisning är att vi då också regelbundet får kritik för att vi har så högt bortfall. Trots det har vi nästan dubbelt så bra deltagarfrekvens de gånger jag har kunnat jämföra med Kantar Sifo. När de redovisat svarsfrekvensen på sina webbpanelundersökningar har andelen som svara legat på drygt 30 % av de tillfrågade. Nästan 70 % svarar inte på Kantars undersökning.

I Novus motsvarande undersökningar svarar ca 60 % av alla tillfrågade. Alltså Kantar-Sifo får bara in hälften så stor andel som Novus.

Ändå får Novus kritik för att vi redovisar siffran. Jag är helt säker på att Kantar-Sifo inte får lika mycket kritik för att de undanhåller dessa siffror.

Sedan är inte bortfallet ett så stort problem som det utmålas att vara.

I USA där bortfallet är mycket större så ger undersökningar med ett bortfall på 90 % riktigt bra resultat. USAs bortfall är så pass mycket större av flera anledningar som inte är applicerbara på Sverige. När det gäller allmänhetsundersökningar finns det inget alls stöd för att bortfallet skall vara det problem det har utmålats till att vara. Det har varit något de som vill tjäna pengar på ovetenskapliga undersökningar använt som ammunition mot oss som gör undersökningar baserad på kunskap och vetenskap.

Men alla gick i fällan. Bortfallet anses vara ett viktigt kvalitetsmått. Bortfallet anses vara beviset för att riktiga undersökningar inte fungerar. Bortfallet kommer fortsätta öka tills ingen svarar längre. Bortfallet är beviset på undersökningsbranschens kris och att man lika gärna kan gissa.

Bortfallet har varit ursäkten att strunta i sannolikhetsurval (slumpmässiga urval) och gå över till självrekryterad. Alltså man använder ett ”kvalitetsmått” som ursäkt för att helt släppa den vetenskapliga grunden i undersökningar. ”Bortfallet är så högt att det inte går att göra undersökningar längre så då ändrar vi allt”. En obegriplig retorik, som totalt saknar stöd i verkligheten eller vetenskapen.

För i verklighetens Sverige kan man verkligen lita på korrekt genomförda undersökningar. Det genomsnittliga felet på den senaste väljarbarometern i alla val Novus undersökt är 0,8 procentenheter. Det är extremt bra.

Under Coronapandemin har vi kunnat jämföra data framtaget från Coronastatus med statistik som sedan släppts och sett att Novus undersökningar varje gång gett ett resultat inom felmarginalen. Solklar bekräftelse att man kan lita på undersökningar.

Vi har alltså gång på gång kunnat visa att undersökningar baserat på kunskap och vetenskap fungerar. Men man måste så klart förstå att riktiga undersökningar har en felmarginal och man behöver förhålla sig till och att det är tolkningen av datat som gör undersökningen. Vi är inte sifferleverantörer. En undersökning består av datainsamling och analys.

Även om det inte är något centralt problem med bortfallet som det låter måste allt göras korrekt. Ett högt bortfall KAN vara systematiskt. Ett lågt bortfall är ALLTID bättre än ett högt. Men ett högt måste inte vara ett problem.

Bortfallet följer vi på Novus löpande. Precis som vi letar efter andra tecken på att något kan ha blivit fel.

Under Coronapandemin svarade 70 % av alla tillfrågade på Novus Coronaundersökningar. De som började larma om bortfallet för en 10-20 år sedan hade nog sagt att ingen skulle svara idag.

Novus har minskat bortfallet under åren samtidigt som den större delen av marknaden verkar valt strategin att inte redovisa siffran.

Det absurda med detta är att det verkar fungera. Man kommer undan med att mörka, samtidigt som Novus behöver förklara att NEJ 50 % deltagarfrekvens är INTE dåligt. Jo man KAN lita på undersökningen trots att varannan sökt svensk inte svarat.

Alltså Novus har vad jag kan se bäst deltagarfrekvens i Sverige och är ensamma om att regelbundet visa denna, därför får vi kritik…

Vi kritiseras alltså för att vi redovisar en HÖG deltagarfrekens. Men redovisar man inget så verkar det vara lugnt.

Detsamma gäller urvalet. I Väljarbarometern är Novus idag ensamma om att ha ett slumpmässigt urval. Vilket innebär att vi är ensamma om att helt kunna luta oss mot vetenskapen bakom felmarginaler och signifikanta förändringar. Tittar man utanför väljarbarometern är vi ett av ytterst få företag som konstant kan ange signifikanta förändringar och felmarginaler.

Ja det leder till samma kritik. Varför redovisar ni förändringar som inte är statistiskt säkerställda? Ja… Undrar om t.ex. Demoskop får den frågan, eftersom de inte alls kan ange felmarginaler eller signifikanser. Deras metod har helt lämnat den kända forskningen, och alla deras förändringar är alltså inom felmarginalen. Då deras felmarginal är helt okänd. De kan komma med enstaka anekdotisk bevisföring. Men de kan inte dra nytta av snart 100 år forskning och kunskap kring metodiken.

Novus undersökningar (och flera andra undersökningar i världen) bekräftar att vetenskapen fortfarande fungerar. Lämnar man vetenskapen väljer något nytt ligger hela bevisbördan hos den som gör så. Då måste man bevisa att metoden fungerar HELA tiden. Det räcker inte med enstaka exempel som ingen utomstående kontrollera. Men även här på grund av bortfallsalarmister, ligger bevisbördan oftare hos Novus och de vetenskapliga metoder vi baserar våra undersökningar på.

”För alla VET ju att det inte fungerar, bortfallet är orsaken, INGEN svarar ju på undersökningar längre”

Totalt felaktiga argument som får leva kvar år ut och år in. Starkt påhejade av aktörer som t.ex. Aftonbladet och deras egna ”bliliga snabba undersökningar”.

Så undrar man varför det finns faktaresistens… Ja det ger väl klick, och klirr i kassan?

Novus roll är att redovisa en korrekt bild av de frågor som skall undersökas. Vi använder bortfallet och andra metoder för att säkerställa det så vi kan stå för resultatet och slutsatserna som undersökningen resulterar i. Novus är inget statistikföretag som levererar siffror, utan vi levererar kunskap om mänskligt beteende. Vi står bakom slutsatserna våra undersökningar leder till.

Vi kan stå för det vi gör. Men ibland undrar jag om vi inte hade kunnat göra det lättare för oss genom att göra som resten av marknaden och inte visa så mycket som vi gör…

Bortfallet är något vi som undersökningsföretag måste ha koll på, för att säkerställa att undersökningen är korrekt. För det är faktiskt så att ingen utanför kan värdera den siffran. För en utomstående är bortfallet bara en siffra man antar betyder något.

Och när man ifrågasätter en siffra man inte kan bedöma så tappar man också fokus från det viktigaste.

De frågor man måste ställa är:

Står undersökningsföretaget bakom resultatet?

Är undersökningsföretaget oberoende?

Litar jag på undersökningsföretaget?

Vi på Novus står bakom våra undersökningar. Oavsett om vi redovisar bortfallet eller inte. Vi är också helt oberoende och har inga kopplingar till varken PR, opinionsbildning, partier eller andra företag.

Torbjörn Sjöström

VD

Novus