Hur snabbt kan sympatierna för ett parti öka (eller minska) utan några signifikanta förändringar från en månad till en annan?

7 mars, 2017

OBS: Artikeln förutsätter att man har ett obundet slumpmässigt urval, alla Novus undersökningar har det. Men de självrekryterade och andra mixade undersökningar saknar felmarginal, vilket innebär att det inte alls går att räkna på sannolikheter, och det är omöjligt att veta hur rätt eller fel en sådan undersökning är.

Man hör ganska ofta kritik kring att man inte kan uttalas sig om ett partis upp- eller nedgång om förändringen inte varit signifikant från månaden innan. Ibland är det relevant kritik av rapporteringen, ibland inte. Även om förändringen är inom felmarginalen kan det vara en del av en statistiskt säkerställd trend, det kan också vara så att förändringen bekräftas av andra undersökningar Novus gör, men som kanske inte ens har publicerats.

Vi på Novus följer den politiska opinionen genom många undersökningar, vi genomför hundratals undersökningar om året, och minst en varje vecka berör politisk opinion. Bara en mycket liten del publiceras, men vi som jobbar på Novus får en unik inblick i orsak och verkan. Vad påverkar, ser vi en förändring i väljarbarometern som stämmer med förändringar i våra andra undersökningar är det sannolikt att det skett, även om vi inte statistiskt kan fastställa det enbart utifrån väljarbarometern.

Vi får mycket kunskap om hur allmänhetens attityder skiftar olika sakfrågor över tid. Ett exempel: Parti A driver fråga x och y. Under en tid ser vi att attityden till dessa frågor blir mer positiv. I väljarbarometern ser vi samma månad att partisympatierna för parti A ökar, men inom felmarginalen, dvs ökningen är inte statistiskt säkerställd. Det finns dock goda skäl att anta att den positiva tendens vi då ser ändå är en förändring då vi har kunskap om de mer positiva attityderna till fråga x och y.

Även förändringar inom felmarginalen* kan vara del av en pågående trend, skulle man istället titta två månader tillbaka så är förändringen säkerställd, något som tyvärr glöms bort i debatten.

Åter till frågan i rubriken. Det tar som snabbast 9 månader för ett parti att öka från 4-20%. Detta är den snabbaste teoretiska ökningen utan att någonsin vara en signifikant förändring från en månad till en annan. Beräkning är gjord utifrån ett obundet slumpmässigt urval på 1000 personer ur en population.

Om man istället som i Novus väljarbarometer genomför 4000 intervjuer, då blir felmarginalerna mindre och även mindre förändringar blir statistiskt säkerställda. Då tar samma förändring från 4 – 20 % när varje förändring från en månad till en annan är inom den statistiska felmarginalen, istället 18 månader.

Det går så klart lika snabbt för ett partis väljarsympatier att minska från 20-4%, utan att minskningen för den skull sker med en enda statistiskt säkerställd förändring från en månad till en annan, men en förändring från 4 till 20 % är garanterat statistiskt säkerställd i en väljarbarometer, men det kan se ut som den ”flyger under radarn” om man bara tittar en månad i taget, och fokuserar på statistiskt säkerställda förändringar från en månad till nästa.

Sammanfattning

  • Absolut viktigaste, fråga oss på Novus vad undersökningen säger. Det är bara vi som har all information som ligger till grund för vår analys. Det gäller ALLA undersökningar vi gör. Den ackumulerade kunskap man får på Novus är inget man kan skriva ned i en textrapport. Utan lita på vår kunskap och kompetens. Vi tar ansvar för den. Exakta siffror är svårare att ta ansvar för, särskilt om man inte också tar del av vår analys.

Siffrorna i undersökningen är inte hela sanningen, det är siffror som vi använder för att förklara ett skeende.
En undersökning består av datainsamling och analys. Novus analys är något som tyvärr ofta försvinner i nyheterna som refererar till vår väljarbarometer. Något vi ständigt arbetar med att styra upp genom utbildning av redaktioner och allt mer omfattande analyser i våra rapporter till massmedia. För det är faktiskt nästan bara i mediala politiska mätningar som det ser ut som siffran är slutprodukten från oss. Annars är det alltid en del av vår förklaringsmodell. För egentligen är inte siffran så intressant, utan vad siffran representera, och varför det har förändrats.

För den som är intresserad ser det ut såhär (nu blir det inte exakt från 4% till 20%, för vi började räkna från 1% till hundra i underlaget, men man ser rätt väl ändå från ca 4% till 20%):

Så klart är ni nyfikna, att gå från 1% till 100 % där varje förändring är inom felmarginalen varje månad skulle ta 94 månader vid 4000 intervjuer och 47 vid 1000 intervjuer.

Fler intervjuer innebär en mindre felmarginal, och större sannolikhet att fånga en statstiskt säkerställd förändrin, även om det kanske inte alltid sker från en månad till en annan, utan man får gå tillbaka två månader.

Men det absolut viktigaste, fråga oss på Novus vad undersökningen säger. Det är bara vi som har all information som ligger till grund för vår analys. Det gäller ALLA undersökningar vi gör. Den ackumulerade kunskap man får på Novus är inget man kan skriva ned i en textrapport. Utan lita på vår kunskap och kompetens. Vi tar ansvar för den. Exakta siffror är svårare att ta ansvar för, särskilt om man inte också tar del av vår analys.

*Felmarginalen skall läsas så här: med 95 % sannolikhet är resultatet inom felmarginalen. Är en förändring statistiskt säkerställd (sigifikant) så betyder det att förändringen förenklat är är större än felmarginalen och det är med 95 % sannolikhet en förändring. Men även om man inte statistiskt kan fastställa att det skett en förändring, så behöver det inte betyda att inget har hänt. Och även om man kan fastställa en förändring, så behöver det ändå inte hänt, det finns alltid en 5% osäkerhet i denna typ av undersökningar. Därför är det så viktigt att också titta på flera saker, något Novus gör som underlag för sina analyser.

Mats Elzén
Undersökningskonsult

och

Torbjörn Sjöström
VD Novus

Hur många köpte tidningen för TV tablån?

5 januari, 2017
  • Hur många köpte tidningen för TV tablån?
  • Hur många köpte den för sporten?
  • För matbilagan?
  • För inredningsbilagan?
  • För korsordet?
  • Titta på ditt eget beteende och din omgivning under uppväxten.

Köpte du tidningen för att läsa alla nyheter?

Eller var nyheterna något där man läste det som var intressant och snabbt skummade rubrikerna för allt annat, samtidigt var det TV bilagan man letade efter och gick tillbaka till när man bläddrat igenom tidningen?

Hur lång tid spenderades till att bläddra igenom en kvällstidning? 5 minuter? 10 minuter?

Hur mycket tid läggs på att läsa nyhetsliknande texter på nätet?

Vad vill jag med detta inlägg?

Jo det jag vill få dig att tänka på är vad man mäter egentligen. Drivkraften bakom ett köp är lätt att tro att det är en sak, men samtidigt kan man inte bara genom t.ex. vikande tidningsförsäljning konstatera att ingen vill köpa nyheter längre.

TV tablån finns inbyggt i TV apparaten. Det finns oändligt med inredningsbloggar, Sporten finns överallt. Korsorden kanske ersatts av appar i mobilen.

Digitaliseringen har förändrat vårt beteende pga att utbudet har kraftigt förändrats. Men vikande tidningsförsäljning behöver inte betyda att man inte är intresserad av nyheter längre. Tvärtom tror jag att gemene man konsumerar mer nyheter nu än tidigare. Tyvärr är nyheterna tunnare.

Det finns fler tillfällen och möjligheter att läsa. Mobilen har man alltid med sig, och flasharna i apparna drar in oss till nyhetssiterna. Men när man väl är där så är det inte så mycket mer än rubriken. Och ofta är rubriken missledande.

Men vart går man för att gå på djupet? Hur påverkas nyhetskonsumtionen av att rubriken är missledande? Hur påverkas nyhetskonsumtionen av att alla säger exakt samma sak samtidigt, men nästan ingen går på djupet? Hur påverkas nyhetskonsumtionen av att gräv är något som tar 5 minuters tänkande att ifrågasätta korrektheten av?

Jag kom lite från ämnet här. Men det är lätt att tro att en siffra betyder ett visst beteende, tex alla som köpte tidningen förr läste hela tidningen. Nu när man kan mäta tid tillbringad i varje artikel på nätet så ser det ut som ett enormt ras.

Man måste förstå på riktigt vad siffrorna betyder och om de är jämförbara eller inte. Det är här ett riktigt undersökningsföretag kommer in. Genom kvalitativa och kvantitativa undersökningar så kan vi förklara inte en procentsats utan faktiskt vilket beteende som ligger bakom en siffra, om den är jämförbar med tidigare eller inte, och vilka nyckeltal som faktiskt är relevanta för att kunna mäta ett beteende framåt.

Det är alldeles för lätt att dra förhastade slutsatser och jämföra två siffror och helt missa att de faktiskt inte är jämförbara. Eller inte över huvud taget längre ens är relevanta. Man fastnar i ett introvert tänkande där man mer söker siffror som bekräftar den egna uppfattningen, när det man egentligen behöver är ett utifrånperspektiv. En undersökningskonsult som är van att titta på problemet utifrån, från konsumentens ståndpunkt, inte inifrån fabriken. Utan utifrånperspektivet så riskerar man att agera helt utifrån sina egna ”sanningar” och ta beslut som rent skadliga för sin affär. Man måste verkligen förstå läsaren/konsumenten. För gissar man fel där så är det ofta förödande. Rätt kunskap är ovärderlig, fel kunskap är värdelöst vetande.

Torbjörn Sjöström

VD

Novus

Om tiggeriförbud, brottslighet och att upprätthålla ordningen.

20 december, 2016

Väljarna har varit för ett tiggeriförbud länge. Novus och TT presenterade det för första gången för flera år sedan. Se första undersökningen här från Mars 2014: http://www.svt.se/nyheter/inrikes/svenskarna-for-tiggeriforbud

Vi kan också se att lag och ordning blivit viktigare i våra undersökningar. Rapporteringen om polisen har varit mycket kritisk både inifrån och utifrån.
Gränskontrollerna gjorde att fartsyndare och rattfyllerister till synes kunde fortsätta utan oro för polisen alls.
Samtidigt har man sett små symbolfrågor kring hur ett rättssamhälle kan tappa bollen rakt ned på marken tom när det är någon som kastar en snäll lyra.
Sk EU migranter kan bosätta sig på privat mark och polisen kan tydligen inte göra något alls. Däremot funkar byråkratin och markägaren kan dömas för miljöbrottet som någon annan är skyldig till när de befinner sig olagligt på platsen. Vi har lärt oss att kronofogden skall flytta personer inte polisen. Om det inte är huliganer, dom bussas iväg kollektivt.
Samtidigt, om en stulen bil står krockad och dumpad i en rondell så står den där i ett par veckor för att påminna alla om att samhället absolut inte tar hand om dem och följer upp de ev spår som vi alla lärt oss via CSI bilen fullständigt ångar av.
Vi hör talas om stenkastning mot räddningspersonal som ingen kan stoppa.
Ungdomar som begår småbrott är det föräldrar på stan och grannsamverkan som tror de behöver lösa.
De flesta saker här är symbolfrågor som inte handlar om mord, eller organiserad brottslighet, utan som förstärker det Margot Wallström nog ångrar blev så ihågkommet, den stundande systemkollapen.
Därför är de flesta för ett tiggeriförbud. EU migranter blir de som sprider avföring på offentliga platser och tigger. Polisen verkar inte ens ta hand om de mest grundläggande, att upprätthålla ordningen i samhället. Tiggarna är den tydligaste bristen i förmågan att upprätthålla ordningen i Sverige.

Mao det är inte tiggeriet och fattigdomen man egentligen är emot. Det är systemkollapsen och ett rättssamhälle som ser ut att havererat i sin förmåga att upprätthålla ordningen. Det är inte ens att lösa brott vi talar om.
Sen att respekten för polisen är mycket lågt, är väldigt dåligt för en rättsstat. Och förtroende och respekt går hand i hand. Men det kan jag förklara de bakomliggande orsaker jag ser till det en annan dag utöver den upplevda möjligheten att upprätthålla

Har ni inte sett Novus youtube program, Sanity check så kan ni se senaste avsnittet här, och glöm inte prenumera, det kommer ett nytt avsnitt ungefär varje vecka, där vi försöker gå till botten med saker som verkar märkliga:

 

Finns även om podcast bl.a. på Itunes:

https://itunes.apple.com/us/podcast/novus/id1170432866

 

Torbjörn Sjöström

VD

Novus

Hur mycket skiljer väljarbarometrarna sig åt på S och M

1 december, 2016

Följer upp förra blogginlägget, om SD med ett om S.

Sammanställningen av SD finns här

Inte klar ännu, men lägger upp bilden så länge, sponant ser det ut som SCB ligger generellt över på S

Blogginlägget kommer uppdateras med mer info.

Bilden för S var ett tag lite fel. Aftonbladets kurva var förskjuten några månader åt vänster, det är rättat nu. De publicerade ju inga väljarbarometrar innan valet 2014

vb-s-nov-2016

Här motsvarande bild på M

Kommentarer kommer

vb-m-nov-2016

Hur mycket skiljer väljarbarometrarna sig åt på SD

30 november, 2016

2016-12-01. uppdaterat grafen med SCB:s PSU från idag

Jag har fått frågan om inte det börjar skilja sig åt ordentligt gällade nivåerna för Sverigedemokraterna i väljarbarometrarna. Och med tanke på USA valet som tolkades som ett fullständigt haveri för vår bransch så satte jag mig och tittade lite extra på alla publicerade väljarbarometrar sedan februari 2012 på de institut som idag regelbundet publicerar väljarbarometrar.

Februari 2012 är bara ett godtyckligt datum, men var tvungen att bryta för att det skulle få plats hyfsat i en graf som också gick att läsa, det är på gränsen redan nu.

Klicka på bilden för att öppna den i större fönster.

vb-sd-nov-2016

 

Gjorde en PDF också som man kan zooma lite mer i, kan laddas ned här: vb-sammanstallning-sd.

Det är flera intressanta saker som jag noterar. Har markerat dem i grafen ovan.

Streckade linjer är självrekryterade (Aftonbladet, Sentio, Yougov). Heldragna linjer är sannolikhetsurval (Novus, Sifo, Demoskop, Ipsos, SCB).

Vi börjar från vänster. Det är lite intressant att Sentio legat relativt stabilt på valresultatet ända sedan slutet på 2012 och ända fram till valet 2014. Min tolkning av valrörelsen var att oron ökade och det i sin tur stärkte SD:s väljarstöd kraftigt. En oro som vi såg i Novus mätningar, men en del av väljarna i vår väljarbarometer hamnade i en allt mer ökande andel väljare som inte sa sig har något parti. Det är det vi på Novus efteråt kunnat konstatera var misstroendeeffekten.

Yougov låg hyfsat i nivå med Sentio under lång tid, men i maj 2014 sjönk SD kraftigt i deras undersökning och låg i nivå med de som var baserade på sannolikhetsurval, de låg t o m lägst på SD i juni 2014. Ett ganska tydligt trendbrott.

Vid valet låg alla undersökningar under SD:s faktiska resultat förutom Sentio som haft SD på den nivån i flera år.

Efter valet så uppdateras naturligt viktmatriserna. De flesta undersökningsföretag använder valresultatet som en del av sin viktmatris. Så alla utgår från ett nytt facit på den, precis som annan registerdata; hur många män och kvinnor som bor i Sverige, åldersfördelning och regionell fördelning.

Därför ligger alla väldigt nära valresultatet direkt efter valet. Men Sentio skjuter i höjden direkt efter valet, vilket tydligt avviker från övriga undersökningar.

Yougov gör uppehåll i flera månader efter valet, och publicerar i december i samma nivå som Sentio. De ligger på liknande nivå ungefär som det såg ut under 2013.

I Novus gör SD ett skutt november till december i samband med regeringsbildnings och budget krisen. Något som inte förvånade mig när det hände. Med tanke på hur turbulent det var så borde SD öka i opinionen då de var de enda som stod för en kampvilja och något tvärt emot det som var nu. Minns jag rätt var det en majoritet som var för ett extra val under den perioden. I Novus undersökning runt årsskiftet 2014/15 så sammanfattade väljarna denna period med ordet ”sandlåda” vilket tyvärr är väldigt talande. Det var ju en mycket turbulent tid.

De självrekryterade undersökningsinstituten Sentio och Yougov ligger på en mycket högre nivå efter valet.

Intressant nog följer Aftonbladet inte Sentio och Yougov, utan de ligger på ungefär samma nivå som de med slumpurval.  Mycket nära Novus efter att vi korrigerat pga misstroendeeffekten.

SCB ligger lägre på SD enda fram till december 2015, då de går från att ligga i undre gruppen av de med sannolikhetsurval, till att bli näst högst och närmar sig Novus resultat. i Maj 2016 har Novus och SCB nästan samma resultat. På ett år har den relativa skillnaden förändrats mycket. Skall bli intressant att se hur det ser ut imorgon när SCB släpper en ny PSU.

Ipsos gör en kraftig metodförändring innan sommaren. Förutom att de tar bort decimalerna, vilket gör förändringarna större, 0,1% kan leda till en skillnad på 1 %. Så deras siffror blir lite slagigare. De tog också bort felmarginalerna, även om de fortfarande jobbar med sannolikhetsurval. Syftet med det var att bättre kunna mäta SD. Ändå var de största förändringarna relativt andra mätningar innan metodförändringen. I mars 2016 hade Ipsos SD mycket lågt, men de närmade sig rätt fort de andra innan metodförändringen. Metodförändringen syns inte så mycket i siffrorna när man jämför med andra mätningar tycker jag.

Aftonbladet är lite intressant då de i slutet de ser ut att gå bort från följa sannolikhetsurvalen och Novus och bryter trenden och närmar sig de självrekryterade, syns ganska tydligt när man tittar på alla på en gång.

Vem har rätt då? Vi på Novus gör allt vi kan för att våra undersökningar skall vara rätt, vi såg mycket allvarligt på det systematiska fel som kunde konstateras vid valet 2014. Vi satsade stora resurser på att gå till botten med felet och kan konstatera att det finns en misstroendeeffekt. Denna har vi jobbat med, inte bara med siffrorna, utan också det viktigaste, att vi jobbar med att öka förtroendet för vårt arbete. Ett undersökningsföretag utan förtroende är mycket litet värt.

Men det viktigaste är ändå att en undersökning inte är en siffra. På valvakan jag var inbjuden att tala på 2014 så sammanfattade jag Novus undersökning så här:

Det kommer bli rörigt. S + MP är mindre än Alliansen. Men tillsammans med V är rödgröna större. SD är en tydlig tunga på vågen. Jag lade ut texten lite om vad det skulle innebära då Reinfeldt sa att störst block skall regera. Men V var ju inte med i blocket. Det hade ju S gjort tydligt innan.

Så beroende på hur M och Reinfeldt valde att tolka valresultatet så kunde de regera vidare med passivt stöd av SD, precis som innan.

Att då säga att undersökningarna är fel, är en mycket märklig sammanfattning. Då vi kunde korrekt mäta det parlamentariska läget.

Att då jämföra med UK och USA där man inte klarar av att mäta det parlamentariska läget blir mycket fel.

Men trots det tar vi våra missar på allvar, även om vi där det räknas hade rätt. Och jag vill inte återigen bli anklagad för att underskatta något parti pga systematiska fel.

Här kan ni läsa om vår metodförändring efter valet: Misstroendeeffekten och att mäta SD:s sympatier

Torbjörn Sjöström

VD

Novus