Hur snabbt kan sympatierna för ett parti öka (eller minska) utan några signifikanta förändringar från en månad till en annan?
OBS: Artikeln förutsätter att man har ett obundet slumpmässigt urval, alla Novus undersökningar har det. Men de självrekryterade och andra mixade undersökningar saknar felmarginal, vilket innebär att det inte alls går att räkna på sannolikheter, och det är omöjligt att veta hur rätt eller fel en sådan undersökning är.
Man hör ganska ofta kritik kring att man inte kan uttalas sig om ett partis upp- eller nedgång om förändringen inte varit signifikant från månaden innan. Ibland är det relevant kritik av rapporteringen, ibland inte. Även om förändringen är inom felmarginalen kan det vara en del av en statistiskt säkerställd trend, det kan också vara så att förändringen bekräftas av andra undersökningar Novus gör, men som kanske inte ens har publicerats.
Vi på Novus följer den politiska opinionen genom många undersökningar, vi genomför hundratals undersökningar om året, och minst en varje vecka berör politisk opinion. Bara en mycket liten del publiceras, men vi som jobbar på Novus får en unik inblick i orsak och verkan. Vad påverkar, ser vi en förändring i väljarbarometern som stämmer med förändringar i våra andra undersökningar är det sannolikt att det skett, även om vi inte statistiskt kan fastställa det enbart utifrån väljarbarometern.
Vi får mycket kunskap om hur allmänhetens attityder skiftar olika sakfrågor över tid. Ett exempel: Parti A driver fråga x och y. Under en tid ser vi att attityden till dessa frågor blir mer positiv. I väljarbarometern ser vi samma månad att partisympatierna för parti A ökar, men inom felmarginalen, dvs ökningen är inte statistiskt säkerställd. Det finns dock goda skäl att anta att den positiva tendens vi då ser ändå är en förändring då vi har kunskap om de mer positiva attityderna till fråga x och y.
Även förändringar inom felmarginalen* kan vara del av en pågående trend, skulle man istället titta två månader tillbaka så är förändringen säkerställd, något som tyvärr glöms bort i debatten.
Åter till frågan i rubriken. Det tar som snabbast 9 månader för ett parti att öka från 4-20%. Detta är den snabbaste teoretiska ökningen utan att någonsin vara en signifikant förändring från en månad till en annan. Beräkning är gjord utifrån ett obundet slumpmässigt urval på 1000 personer ur en population.
Om man istället som i Novus väljarbarometer genomför 4000 intervjuer, då blir felmarginalerna mindre och även mindre förändringar blir statistiskt säkerställda. Då tar samma förändring från 4 – 20 % när varje förändring från en månad till en annan är inom den statistiska felmarginalen, istället 18 månader.
Det går så klart lika snabbt för ett partis väljarsympatier att minska från 20-4%, utan att minskningen för den skull sker med en enda statistiskt säkerställd förändring från en månad till en annan, men en förändring från 4 till 20 % är garanterat statistiskt säkerställd i en väljarbarometer, men det kan se ut som den ”flyger under radarn” om man bara tittar en månad i taget, och fokuserar på statistiskt säkerställda förändringar från en månad till nästa.
Sammanfattning
- Absolut viktigaste, fråga oss på Novus vad undersökningen säger. Det är bara vi som har all information som ligger till grund för vår analys. Det gäller ALLA undersökningar vi gör. Den ackumulerade kunskap man får på Novus är inget man kan skriva ned i en textrapport. Utan lita på vår kunskap och kompetens. Vi tar ansvar för den. Exakta siffror är svårare att ta ansvar för, särskilt om man inte också tar del av vår analys.
Siffrorna i undersökningen är inte hela sanningen, det är siffror som vi använder för att förklara ett skeende.
En undersökning består av datainsamling och analys. Novus analys är något som tyvärr ofta försvinner i nyheterna som refererar till vår väljarbarometer. Något vi ständigt arbetar med att styra upp genom utbildning av redaktioner och allt mer omfattande analyser i våra rapporter till massmedia. För det är faktiskt nästan bara i mediala politiska mätningar som det ser ut som siffran är slutprodukten från oss. Annars är det alltid en del av vår förklaringsmodell. För egentligen är inte siffran så intressant, utan vad siffran representera, och varför det har förändrats.
För den som är intresserad ser det ut såhär (nu blir det inte exakt från 4% till 20%, för vi började räkna från 1% till hundra i underlaget, men man ser rätt väl ändå från ca 4% till 20%):
Så klart är ni nyfikna, att gå från 1% till 100 % där varje förändring är inom felmarginalen varje månad skulle ta 94 månader vid 4000 intervjuer och 47 vid 1000 intervjuer.
Fler intervjuer innebär en mindre felmarginal, och större sannolikhet att fånga en statistiskt säkerställd förändring, även om det kanske inte alltid sker från en månad till en annan, utan man får gå tillbaka två månader.
Men det absolut viktigaste, fråga oss på Novus vad undersökningen säger. Det är bara vi som har all information som ligger till grund för vår analys. Det gäller ALLA undersökningar vi gör. Den ackumulerade kunskap man får på Novus är inget man kan skriva ned i en textrapport. Utan lita på vår kunskap och kompetens. Vi tar ansvar för den. Exakta siffror är svårare att ta ansvar för, särskilt om man inte också tar del av vår analys.
*Felmarginalen skall läsas så här: med 95 % sannolikhet är resultatet inom felmarginalen. Är en förändring statistiskt säkerställd (signifikant) så betyder det att förändringen förenklat är är större än felmarginalen och det är med 95 % sannolikhet en förändring. Men även om man inte statistiskt kan fastställa att det skett en förändring, så behöver det inte betyda att inget har hänt. Och även om man kan fastställa en förändring, så behöver det ändå inte hänt, det finns alltid en 5% osäkerhet i denna typ av undersökningar. Därför är det så viktigt att också titta på flera saker, något Novus gör som underlag för sina analyser.
Torbjörn Sjöström
VD Novus