När har det hänt något i en undersökning?

Detta är så klart centralt nyhetsvärderingen och hur man skall tolka undersökningar generellt.

I onsdags (6/2 2019) fick jag en påtaglig tankeställare. Avgick Björklund för han visste att Novus SVT:s väljarbarometer skulle komma på torsdagen?

Att våra undersökningar påverkar beslut varje dag är inget konstigt, men sällan det syns som det gjorde nu. Enligt flera journalister bl.a. Mats Knutsson skedde tillkännagivandet för att förekomma vår väljarbarometer (hittar inte länken nu, men läste det på SVT igår kväll torsdag 7/2 2019). Visst Jan Björklund hade redan tidigare informerat valberedningen att han inte ställde upp för omval. Men samtidigt är pressträffen inte så konstigt när man tänker efter. Hade siffrorna publicerats hade avgångskraven kommit som ett brev på posten (ok brev på posten var kanske en dålig liknelse…), det hade inte ens spelat någon roll att han faktiskt redan sagt till valberedningen att han inte ställde upp för omval. Tyckare skulle passa på till höger och vänster och kräva hans omedelbara avgång pga det katastrofala opinionsstödet.

Hur kunde dom veta kanske någon undrar? Hade någon läckt? Det är mindre dramatiskt än så. När en väljarbarometer skall publiceras intervjuar media de som är mest berörda innan publicering. SVT var så klart intresserad av en kommentar från L. De visste om sina siffror, sannolikt även när publiceringen var planerad, men inte mycket mer än så. Därför kunde de förekomma för att slippa avgångskraven, även om det redan var känt att han inte ställde upp för omval igen.

Till kärnfrågan. Har det hänt något egentligen?

Eftersom vi har slumpmässiga urval kan vi konstatera om något är statistiskt säkerställt. I detta fall är L statistisk säkerställt under 4%, och det för första gången någonsin i Novus undersökning.

Men betyder det att det garanterat hänt något om det är statistiskt säkerställt?

Nej faktiskt inte enligt statistiken. I Novus väljarbarometer betyder det t.ex. att väljarstödet för L om det vore val idag med 95% sannolikhet är under 4%. Men man måste också bl.a. väga in att resultatet månad för månad pekat ganska tydligt nedåt längre tid, men också att förtroendet för Björklund sjunkit.

Man kan med andra ord inte vara hundra. Men 95% sannolikhet är ändå otroligt bra, och tillsammans med det andra så talar det för att det är sant och rimligt.

Sen var drar man gränsen för sannolikheter? 95% har blivit en de facto standard för statistiska allmänhetsundersökningar. Men om man skulle säga att 85% säkerhet är bra nog, det är ju rätt bra, då skulle felmarginalen gå ned ordentligt (men man skulle bara kunna vara 85 % säker på att resultatet var inom felmarginalen). Ja det låter konstigt, och det kan kännas ologiskt.

Skulle man gå åt andra hållet till 100 % så blir undersökningarna så dyra att det skulle vara orimligt att försvara det ekonomiskt.

Tittar man på väljarbarometern har det genomsnittliga felet faktiskt varit bättre än den teoretiska felmarginalen. Men det ger argument för att förändringar även inom felmarginalen faktiskt kan ha hänt ändå.

Ofta är förändringarna från en undersökning till en annan mycket små, och vi bygger upp en kunskap kring de tusentals undersökningar vi gör, vi lär oss orsak och verkan, vad som är väntade förändringar och vad som kan vara brus/mätfel. En undersökning är sällan helt isolerad, utan vi har mycket publicerat och opublicerat inom ämnet vi kan förlita oss på i vår analys.

Samtidigt är det nu en majoritet av de svenska undersökningsföretagen som inte har ett slumpmässigt urval och därmed inte ens kan räkna på felmarginaler. Tittar vi på väljarbarometern är det idag bara Novus och Sifo som kan räkna på felmarginaler och signifikanta förändringar.

Jag tycker det är tragiskt att det gått så långt. Jag kan fortfarande inte se någon annan bakgrund till detta annat än att man försöker spara pengar. För det går jättebra att göra riktiga pålitliga undersökningar, men det är ju så klart inte gratis. Undersökningar utan statistisk säkerhet är inte mer pålitliga än gissningar i mina ögon. Jag förstår inte hur man kan använda det som pålitligt beslutsunderlag eller som underlag till en nyhet.

Men visst känner våra konkurrenter att de kan försvara sina undersökningar och stå bakom dem trots att de inte har någon tillförlitlig statistisk analys baserat på säkerheten i undersökningen som en del av argumenten är det så klart upp till dem.

På Novus skulle vi aldrig göra så. Kraften i undersökningar, förtroendet för vårt varumärke och det vi står för är så stor att vi aldrig skulle kunna sitta och gissa utan att ha så mycket som möjligt på fötterna. Vi är duktiga, vi förstår mänskligt beteende och krafterna bakom, men vi vill ha tillförlitliga belägg för våra argument och analyser, även om det i slutändan landar i vad som ibland kan se ut som kvalificerade gissningar för en utomstående. Men vi kan stå för det, och vi baserar våra analyser på den fakta och kunskap vi har.

För att sammanfatta:

Vi gör en bedömning om vilka saker vi anser vara relevanta att i analysen av en undersökning. Denna bedömning är baserad på statistiska analyser och vår sakkunskap. Kan vi stå bakom ett resultat betyder det att vi bedömer det som pålitligt.

En Novus undersökning som presenteras i det offentliga rummet är inte bara en datainsamling och statistiska körningar, utan det är vår analys och kommentar kring densamma.  Även om det inte alltid är så enkelt att kolla upp med att titta på om det är statistiskt säkerställt eller inte. För tittar man bara på det förenklar man vårt jobb till en nivå som inte är rättvisande.

Att en partiledare avgår tidigare än planerat kan kännas som en enorm effekt och ansvar, men det är ingenting mot de kommersiella undersökningar vi gör, där affärer och miljardbelopp står på spel. Då vill man ha på fötterna, för ingen vill ju råka vilseleda sina kunder.

Slutsatsen av en Novus undersökning skall man alltid kunna lita på.
Men det förutsätter så klart att slutsatsen kommer från oss, inte bara siffrorna.

Torbjörn Sjöström

VD

Novus