Arkiv 2018

SVT Forum om man kan lita på opinionsundersökningar eller handlade det om att jorden är platt?

21 juni, 2018

Igår var jag med i ett samtal i direktsändning i SVT Forum. Temat var kan man lita på undersökningar, med lite undertexter.

En fråga jag får ofta från journalister. Men iofs inte lika ofta som, vad säger er undersökning, och vad är din analys av undersökningen. Underökningar  som alla seriösa redaktioner ser som ett faktaunderlag för en nyhet.

Men trots det vill de lite då och då vara kritiska och lyfta frågan.

Det är en problematisk fråga, för det är klart man kan lita på bra undersökningar, det säger forskningen och historiken. MEN det finns många dåliga datainsamlingar som felaktigt kallar sig undersökningar. Novus undersökningar kan man självklart lita på. Dock kan man inte övertolka resultaten heller. Något som journalistiken ofta gör i sin jakt på dramatik. Det är ett journalistiskt problem som jag arbetar mycket med för att styra upp.

Men till samtalet som visade sig vara en debatt.

Det konstigaste samtal/debatt jag någonsin haft med personer som borde veta bättre eller inte ställa upp på ett samtal pga inte kunniga i ämnet. Det kändes som att ha besökt en annan planet, där kunskap inte var viktig, och inte heller det man säger är värt så mycket, det är liksom bara ord.

De två andra inbjudna var Tommy Möller professor i statsvetenskap och Daniel Nordström redaktionschef på några av Mitt medias tidningar.

Daniel och jag har diskuterat tidigare på Twitter och  i SR:s Studio ett, för att han har sagt att han inte litar på undersökningar och inte kommer publicera några i sina tidningar. Sen kan det vara bra att veta att TT direktpublicerar sannolikt dagligen undersökningar i hans tidningar och på politisk opinionssidan får de referera till undersökningar. Kvar blir vad jag förstått lokalbevakningen. En del som i regel nästan aldrig använder undersökningar som grund för sin journalistik. En stark bidragande orsak historiskt i alla fall att man då måste köpa egna undersökningar, mycket sällan en opinionsundersökning finns publik kring t.ex. Västerås åsikt i en fråga. Opinionsundersökningar kostar pengar, media har ont om pengar och betalar liksom inte för så mycket alls.

Sen har vi Tommy, han hade tydligen precis skrivit en bok om partierna och landat i vad jag förstår att partierna har tappat sin ideologi och snarare fokuserar på opinionsundersökningar. Det verkar vara opinionsundersökningarnas fel. Tommy vill förbjuda undersökningar lät det som i programmet. Vad Tommy då, vilket han verkligen inte är ensam om, är att fastna vid symtomet och det agerande man har nu pga ett problem. Han fördömer en konsekvens av ett problem istället för att fundera på varför man är där man är.

Orsaken till varför vi är där idag är att medias digitalisering har förflyttat partierna till att behöva kunna svara på blixtsnabba frågor med blixtsnabba svar utan att gå vilse samtidigt. Mediebevakningen har förtunnats och gjorts ytligare, där fokus är på arenan och direktsändningar, med målet att visa på konflikter.

Medias makt i att sätta bilden av verkligheten hos väljarna är absolut. Det har den alltid varit, men när journalistiken blir mer direktsändning och konfliktsökande, istället för att granska och förklara, så tvingas faktiskt partierna bort från visionerna i det offentliga rummet.

Men man kan ju inte strunta i folkviljan. Opinionsundersökningar är alltid ett ovärderligt verktyg. Det är det enda pålitliga sättet att följa väljarnas riktiga åsikt mellan valen. I alla andra frågor än partisympati är undersökningar det enda sättet vi faktiskt har. Partierna precis som massmedia måste så klart ha den kunskapen som undersökningar levererar hela tiden, precis som kommersiella företag och andra aktörer.

Hur skulle det se ut att vi bara gissade om vad väljarna tycker? För facit får vi bara på vilka partier som får vilket stöd vart fjärde år. Inte varför. Där är undersökningar ännu viktigare. Där är vi enda facit. Det är otroligt mycket billigare än folkomröstningar men är nästan lika exakt. Fundera lite på det, 1000 intervjuer är nästan lika exakt som 7 500 000 röster. MEN vi måste ju göra vårt jobb ordentligt och basera det på den forskning som finns. Men gör vi det kan vi korrekt beskriva inte bara vad svenska folkets vilja är i en fråga utan också varför. Det är helt otroligt, och ett ovärderligt verktyg för alla. Den dagen man förbjuder opinionsundersökningar är den dagen man förbjuder folkviljan. De länder som förbjuder opinionsundersökningar är i allt mindre omfattning en demokrati. Lågt valdeltagande, eller kanske har publika val mest för syns skull…. Opinionsundersökningar är ju ett uttryck för folkviljan, det är ett direkt hot i ickedemokratiska länder.

Lång bakgrund, men problemet här är att det inte går att förstå en ganska kontraintuitiv fråga som kräver ganska stor kunskap, utan just kunskap. Att som undersökningar gör, lita på slumpen och bara fråga en liten bråkdel av hela gruppen, och att det fungerar. Det är ju ganska otroligt som sagt. Man måste förstå och vara påläst för att kunna ens utvärdera träffsäkerheten.

Det är nog här diskussionen går fel i SVT Forum, för den enda i studion som har denna kunskap och förståelse var helt uppenbart jag… Trots att vi skulle diskutera undersökningar så missar man att det krävs en stor kunskap om det vi gör. Att vara professor i statsvetenskap betyder inte att man kan vad vi gör. Det är inte var statsvetenskapen går ut på, sen finns det statsvetare som använder statistiska undersökningar, andra som inte gör det, det finns dom som är mycket pålästa och andra som inte kan något alls.

Att vara redaktionschef betyder absolut inte att man kan något om opinionsundersökningar.

Några extremt konstiga saker som sades i sändning:

Tommy klagar på undersökningar för att partierna saknar visioner.

Den kommenterar jag lite ovan i bakgrunden.

Daniel att undersökningar inte är fakta, utan bara åsikter, det går inte att nyhetsvärdera åsikter…

Ja vart skall man börja. Daniel säger detta hela tiden, men visst han säger också ibland lite förmildrande att det finns bra undersökningar. Men han agerar och upprepar gång på gång att det inte fungerar att göra undersökningar. Det är en rent faktaresistent åsikt. Att han väljer att inte publicera undersökningar är helt upp till honom, även om det är en sanning med modifikation vad jag kommit fram till, se ovan. Men att uttryckligen gång på gång säga att undersökningar inte är fakta är direkt felaktigt. Det är också ett chockerande uttryck som inte hör hemma hos en redaktionschef. Särskilt som han också säger emot sig själv, då han också säger att det finns bra undersökningar, han vet alltså bättre egentligen, eller?

Tommy säger att bortfallet är det stora problemet. Det är faktiskt inte sant. Inser att jag borde sagt som Hans Rosling: ”Du har totalt fel” 

”– Jag pratar inte om statistik. Jag pratar om verkligheten och verkliga människor som finns, säger han.”

Men det kom jag på idag.

Länk till det jag skrivit om bortfallet

Tommy säger att undersökningar är förbjudna i Frankrike. Det är inte heller sant. Däremot fick man inte publicera undersökningar (väljarbarometrar) några dagar innan valet. Men det är en helt annan sak, för den delen har den delen tonats ned, det är däremot en allmän borgfred under helgen valet sker. Man skall själv reflektera och inte dränkas i mediebevakning. Men det viktiga i detta är medias publiceringar. Det har inte alls med att förbjuda undersökningar, utan man får inte publicera saker som har med valet att göra.

Det är för många undersökningar. Nej det är för få olika undersökningar. Det gissas faktiskt för mycket i media. Men det är sant det är för många väljarbarometrar som publiceras av nästan alla redaktioner. Alla redaktioner bör inte publicera alla väljarbarometrar. Det är ett otyg som skapar förvirring. Har man en egen väljarbarometer, lita på och håll er till den. Annars blir det bara förvirrande för era läsare. Och dra inte växlar på undersökningar som det inte finns stöd i undersökningen. Låt oss som gjort undersökningen få vara avsändare för analysen. För en undersökning utan analys är bara en datainsamling. Det är annars som att kalla termometern för en väderprognos.

Hela inslaget blir också ett typexempel på den falska balans som är så typisk för den moderna journalistiken. En forskare och en redaktionschef mot mig.

Jag får representera Novus, men också ta ansvar för alla världens undersökningar och statistiska undersökningsmetoder.  Där forskaren inte är tillräckligt insatt i ämnet, inte redaktionschefen heller. Men de placeras i expertroller som ger bilden att de har kunskap och forskning i ryggen. När sanningen är att Novus representerar den samlade forskningen och kunskapen i ämnet i studion.

För mig som är insatt och ser dessa två som representanter för sina respektive gebit nära till hands att ställa frågorna:

Kan man lita på journalister?

Kan man lita på forskare?

Fungerar opinionsundersökningar då?

Självklart fungerar det.

Den forskning som finns stödjer det. Den fakta som finns stödjer det. Det faktum att forskarna använder opinionsundersökningar som underlag i sin vidare forskning om det mesta. När man behöver få fram fakta som saknas så använder man statistiska undersökningar (opinionsundersökningar).

Frågan är faktiskt helt missvisande.

Frågan man borde ställa sig är kan alla tolka och samla in statistik?

Självklart inte, det är jättelätt att gå fel om man inte har kompetensen.

En undersökning bestå är av två delar, insamling av relevant statistik och analys.

När undersökningar är ”fel” beror det i regel främst på två saker.

  1. En dåligt genomförd undersökning har publicerat.
  2. Den som berättar om den förstår den inte

Det första löser man med Novus policyråd för redaktioner länk här 

Det andra också till viss del genom våra policyråd ovan. Men också genom att lyssna på undersökningsföretagens analys, inte bara ta siffrorna. Vet vi som undersökare vad vi gör. Vi på Novus vet det i alla fall. Då slipper man frågor om man kan lita på undersökningar. För det som rapporteras är en korrekt bild av verkligheten. Eller som Hans Rosling sa: Det är inte statistik. Det är verkligheten och verkliga människor.

Men genom att ställa frågan, som ju är felaktig och med den gästlistan så uppvisar också SVT Forum ett tydligt exempel på den falska balansen och en skev konfliktsituation som bara existerar i massmedias värld, inte i verkligheten.

Tittar man på programmet ser man, tre gubbar i kavaj, två som tycker undersökningar är dåligt och en mellanskäggig en vars verksamhet går ut på att leverera just det dom andra säger är dåligt.

För mig med det enorma kunskapsövertag jag tydligen hade i frågan, var det ungefär som att hävda att jorden är rund med två plattjordare i direktsändning. Det är nästan omöjligt att komma med konstruktiva trovärdiga argument för jorden ser ju faktiskt jätteplatt ut.  När det för övrigt är två plattjordare med fina jobb och titlar i Sveriges mest sansade tv kanal, SVT forum…

”Klart jorden är platt! Det har jag sett på TV. Konstigt vore väl om man litade på den där skäggiga killen som ju tom var part i målet.”

Men hade jag inte ställt upp, och försökt försvara kunskap, vetenskap och beprövad erfarenhet vem hade gjort det då? För programmet hade sänts ändå.

Torbjörn Sjöström
VD
Novus

 

Skillnader i partisympati beroende på kön och ålder

14 juni, 2018

Varje månad genomför Novus 5000 telefonintervjuer till vår väljarbarometer. Det stora antalet intervjuer innebär inte bara en bättre och mer gedigen undersökning av opinionsläget utan att vi även kan bryta ner resultatet på flera intressanta undergrupper.

I grafen nedan kan man se hur partiernas stöd förändras beroende på om man ser till endast män och kvinnor samt fyra olika åldersgrupper.

Tydliga skillnader mellan män och kvinnor

Sverigedemokraterna är det absolut största partiet bland männen (29%), därefter kommer Moderaterna och Socialdemokraterna först på tredje plats.

Bland kvinnor är Socialdemokraterna (26,1%) störst, Moderaterna på en andraplats och Sverigedemokraterna på tredje plats.

Skillnaderna mellan män och kvinnor är som störst kring stödet på Sverigedemokraterna där männen är nästan dubbelt så många som kvinnorna, därefter kommer partierna med fler kvinnliga sympatisörer än män, Centerpartier och Socialdemokraterna.

I Sverige har skillnader i mäns och kvinnors partival historiskt varit små men sedan 1980-talet har kvinnor i allt större utsträckning röstat på partier som står till vänster. Detta är inte något som är exklusivt för Sverige utan samma utveckling har skett i många jämförbara länder. En orsak till detta är enligt statsvetenskaplig forskning att allt fler kvinnor tagit steget in på arbetsmarknaden och då främst inom den offentliga sektorn. Under 1970-talet var skillnaderna i partival mellan män och kvinnor mycket små för att sedan öka i samband med valen 1994 och 1998 då män i större utsträckning röstade på Moderaterna medan kvinnorna oftare valde Miljöpartiet och Vänsterpartiet. Skulle de skillnader mellan könen som opinionsläget idag visar hålla i sig fram till valdagen i september är det en stor möjlighet att skillnaden mellan män och kvinnors partival blir rekordstor.

Socialdemokraternas stöd ökar för varje åldersgrupp

Ser man istället till olika åldersgrupper blir det tydligt att det finns stora skillnader för Socialdemokraterna. I den yngsta (18-29 år) gruppen är stödet lågt (14,9%) jämfört med hur stödet för Socialdemokraterna ser ut för väljare 65 år + där man överlägset är det parti med starkast stöd (33,4%). Kristdemokraterna har traditionellt sett varit starkast bland de äldsta väljarna men i Novus väljarbarometer för juni når man inte heller i den gruppen upp till 4%-spärren.

I bilden nedan visas alla åldersnedbrytningar på samma bild. Sverigedemokraterna är näst största parti i tre av fyra åldersgrupper. Moderaterna är största parti i två åldersgrupper (18-29 år samt 30-49 år) och Socialdemokraterna är största parti i de två äldsta åldersgrupperna.

Här finns resultatet av Novus/SVT väljarbarometer för juni, inklusive en gedigen tidsserie.

 

Liza Pettersson

Konsult och opinionsanalytiker

Novus

Varför finns undersökningsföretag? Om säkerhet och osäkerhet

12 juni, 2018

En undersökning är en metod eller en process för att få kunskap. Något som behöver påminnas om varje dag.

För att få kunskap så behöver man fakta. Men målet är inte fakta, målet är att med hjälp av relevant fakta kunna bygga kunskap i frågan. Som undersökningsföretag arbetar vi varje dag med att leverera kunskap till våra kunder. För att få denna kunskap tar vi fram relevant fakta.

  • Vi tar fram fakta som inte redan finns
  • Vi använder fakta till att ge våra kunder kunskap
  • Vi tar fram fakta i frågor där det inte finns facit

Det är i princip bara i demokratiska val vi får ett facit på vår fakta. Detta facit gäller endast den senaste undersökningen precis innan valet (och inte ens då försöker vi förutsäga vad som händer i framtiden, utan vad som skulle hända om det var val idag, inte i övermorgon), detta facit gäller inte de väljarbarometrar som sker varje månad. Det gäller absolut inte SCB:s PSU som publicerades häromdagen. Att ens andas idén om att den skulle säga något om framtiden, mer än hur läget ser ut idag, innebär att man tror på ödet. Att partiernas valrörelser inte spelar någon roll, att vi inte ens har den fria viljan att påverka vår egen framtid.

Väljarbarometern är f.ö. en så liten ekonomisk affär att den knappt syns i vår resultaträkning. Det är däremot extremt viktig för vårt varumärke. Det enda facit som finns i de flesta frågor är undersökningar, 99% av alla undersökningar vi gör är baserad på fakta vi själva samlar in genom statistiska urval som grund för vår kunskap.

Det låter ganska absurt, men det är faktiskt så.

Vad har vi till vår hjälp för att ta fram dessa facit? Jo forskning och beprövad erfarenhet. De publika valen hjälper oss att kontrollera våra metoder. Det finns idag inget som tyder på att dessa metoder inte fungerar, inte ens i USA är de särskilt trasiga, men de är absolut inte gratis.

Man kan göra statistiska undersökningar och faktiskt kunna få fram facit i en fråga. MEN man skall inte övertolka det heller. Man måste veta vilken osäkerhet metoderna medför. Det är här felmarginalen kommer in. Den har inget självändamål, utan det är ett hjälpmedel för att tolka osäkerheten/säkerheten i undersökningen. Hur pass mycket kan vi lita på den statistik vi tar fram som underlag för den kunskap vi levererar. Läs mer om nivåerna på felmarginalen här

Det är därför obegripligt för mig att vi har många konkurrenter, nästan alla, som tar så lätt på metodförändringar att man inte ens med  god vilja kan räkna på felmarginalen, i vilken omfattning man kan lita på undersökningen. Vi ser nu flera etablerade undersökningsföretag som efter sin metodförändring inte kan redovisa felmarginalen, alla förändringar blir då inom felmarginalen, inget har då egentligen hänt… Med andra ord det går inte att avgöra hur pass pålitliga resultaten är. Det kan faktiskt vara helt fel.

Det finns de som hävdar att det inte går att genomföra statistiska undersökningar längre. Något som är en direkt lögn, eller om man vill vara snäll, baserat på total okunskap. Men är det inte intressant att de som är de mest högljudda förespråkarna för undersökningsbranschens alternativa metoder (alltså metoder utan någon känd osäkerhet) är aktörer som säger att de kommit på något billigare men ”minst lika bra”. För om det vore så att det dom ersätter inte fungerar, varför använder man då de beprövade metoderna som måttstock? De som säger att det inte går att göra pålitliga undersökningar verkar samtidigt försöka tjäna pengar på opålitliga undersökningar (man har ingen felmarginal, man har ingen aning om osäkerheten), men försvarar ofta sin existens genom att säga att resultatet är detsamma som undersökningar baserad på korrekt metodik. Logiken haltar inte bara lite här…

Många blandar också ihop forskningsprojekt och kommersiella produkter. Att forska på metodutveckling kan ske på företagen och det kan ske på universiteten. Det är en parallell process som sker bredvid den kommersiella verksamheten. Det är en framtidssäkring och det är en modernisering som man sedan kan lyfta in som en bättre modell. Men nu ser det mer ut som fungerande metoder ersätts av prototyper som utvecklas mer eller mindre live i kommersiell driftmiljö. Prototyper som saknar ens indikationer på osäkerheten. Prototyper som saknar felmarginaler, när kärnverksamheten i det vi gör är just graden av säkerhet/osäkerhet i den fakta vi använder som grund för den kunskap vi förmedlar.

Prototyper som då ser ut som en panikåtgärd för att lappa ihop något som helt plötsligt gått sönder. När inget har gått sönder (förutom kanske mediehusens betalningsförmåga)… Varför försöker man laga något som inte ens var trasigt? Pengar är tyvärr förklaringen, man anser att det var för dyrt att bjuda på en bra dyr produkt när kundens betalningsvilja var så låg.

Men det man gör genom att byta ut ett fungerande flaggskepp mot en prototyp i direktsändning är att man riskerar att se skeppet sjunka framför ögonen på oss. Man ignorerade ingenjörernas varningar, för det måste ju se fint ut, det måste vara stort och det får inte vara för dyrt…

Nej man måste hålla isär forskning och kommersiella produkter. Skeppen kan sjunka under kontrollerade test, inte under pompa och ståt i direktsändning.

Glöm aldrig att en undersökning är en metod för att få kunskap. Kunskap fungerar aldrig utan pålitlig fakta, pålitlig fakta kan inte existera om man inte kan värdera säkerheten i faktan.

  • Därför är felmarginalerna viktiga.
  • Därför är vetenskap och beprövad erfarenhet avgörande.

För utan det ovannämnda har inte undersökningsföretagen något existensberättigande.

Kan vi inte leverera tillförlitlig kunskap kan vi lika gärna strunta i att försöka, då lurar vi bara kunderna på pengar. Något som jag är säker på att ingen egentligen vill.

Det finns ingen anledning att säga att det inte går att göra pålitliga undersökningar i Sverige. Men det är inte gratis. Det val man ställs inför som en seriös aktör om kunden inte kan betala vad det kostar, är att antingen inte leverera, eller leverera med förlust. Att bygga något som är medvetet sämre med enbart ursäkt att kunden inte ville betala mer är förödande för det egna varumärket. När skeppet sjunker kommer man minnas båtbyggaren och aldrig anlita den igen.

Novus undersökningar kan man lita på, vi vet graden av osäkerhet, det är inte en dålig sak utan en grundförutsättning för att kunna värdera fakta som ligger till grund för kunskapen. Vi försöker inte leverera något som är dåligt pga kunden inte kan betala för något som uppfyller de krav vi ställer för att sätta vårt namn på det. I regel föreslår vi då en effektivare lösning som passa kundens plånbok men kanske inte ger alla svaren. Ibland säger vi åt kunden att inte genomföra undersökningen alls.

Har man yrkeskunskapen och yrkesstoltheten kan man också komma med alternativa lösningar som i regel passar kundens plånbok utan att för den delen vara dålig. Dålig kvalitet i undersökningsbranschen innebär nämligen inte ganska rätt, utan sannolikt oftare helt fel… Då är det bättre att spara pengarna, eller köpa något mindre men pålitligt som man har råd med. En bra undersökning har ett operativt värde, och det finns det egentligen alltid pengar för. En dålig undersökning är slöseri med pengar.

Om vi inte har stöd för vår kunskap och om vi inte kan värdera den fakta som ligger till grund för kunskapen så levererar vi bara dyra gissningar. Därför är felmarginalen helt avgörande för undersökningsföretagets anseende.

 

Torbjörn Sjöström

VD

Novus

Om bortfallet, när är det ett stort problem och vems problem är det?

8 juni, 2018

Bortfallet, deltagarfrekvensen, kärt barn har många namn.
Det är något som forskare i transparensens namn vill att vi skall redovisa
Journalister så de känner att de är transparenta, men också för att man fått höra hur stort problem bortfallet är.

För mig som försökt sätta mig in i detta i praktiken, vi har gjort egna studier, men också tittat på en del forskning så insaer jag att bortfallsdiskussionen blivit extremt överdriven.

I grunden är det så här,

  • man drar ett slumpmässigt urval av den population man vill undersöka.
  • Man försöker få så många svar man kan ur gruppen man slumpmässigt valt ut.

Om det är så att man misstänker att de som inte svarar har en annorlunda åsikt än de som svarar. Alltså om man har ett systematiskt åsiktsmässigt bortfall. Ett där åsikterna man vill undersöka avviker bland de som inte svarar jämfört med de som svarar så har man ett problem med bortfallet och behöver göra en bortfallsanalys.
Men om bortfallet är slumpmässigt på åsikterna man vill undersöka så har man inte det problemet. Då blir det i praktiken förenklat endast så att man behöver fråga fler för att få in tillräckligt många svar.

Bortfallsanalys då?

En bortfallsanalys är ett magiskt väsen (skojar). Nej en bortfallsanalys innebär förenklat att man försöker få svar från ett utsnitt av de som inte svarat och man försöker tills man fått svar. Dessa svar jämförs med de som svarade i undersökningen.
I processen vid datainsamlingen utgår man också utifrån de kända fakta vi vet som varning och som ledtrådar kring de som svarar och de som inte svarar. tex ålder, kön, geografi osv. Det är inte samma sak som att bortfallet kan vara systematiskt åsiktsmässigt, men man kan använda dessa parametrar för att se om man behöver göra en bortfallsanalys. Är bortfallet snedvridet på de kända parametrarna så kan det leda till en oro att det också är snedvridet åsiktsmässigt. Men man måste samtidigt hålla isär demografisk undertäckning, och åsiktsmässig undertäckning, för det är inte alls samma sak. Demografisk undertäckning kan vara en varningsklocka som innebär att man bör göra en bortfallsanalys. Men det betyder inte att man per automatik har en åsiktsmässig skevhet.

Under tiden undersökningen genomförs kontrollerar vi att det ser normalt ut, om något avviker och vi misstänker att det kan vara problem med datainsamlingen, tex på bortfallet. Då kontrollerar vi det.

Man får inte glömma att vårt jobb är inte att samla in siffror. Vi levererar fakta och framförallt kunskap.
Är underlager felaktigt så blir ju våra slutsatser fel. Vad skulle då meningen med undersökningen vara?

Men nu har man ju hört överallt att bortfallet är ett jättestort problem tänker du?

Ja det är sant, bortfallet har utmålats som ett stort problem.

En av källorna till detta är SCBs årsredovisning som beskriver bortfallet som ett hot. Minns jag rätt så var även krig ett hot. Det var nämligen i den delen av årsredovisingen där revisorn vill att man skriver möjliga framtida risker.

Men det är sant att bortfallet kan vara ett problem, i SCBs AKU, Arbetskraftsundersökning så kan det vara vissa yrkesgrupper som man nästan aldrig får tag på.
Ja testa själv att få tag på en bra hantverkare…

Men det är inte sant att det finns en magisk gräns för bortfallet. Bortfallet uppträder faktiskt inte som man skulle kunna tro.

Är urvalet slumpmässigt och bortfallet slumpmässigt, då får man också ett slumpmässigt svarsmönster som är åsiktsmässigt representativt för hela gruppen som skall  undersökas. Slumpen är vår vän nämligen. Vilket är intuitivt mycket svårt att greppa. Att man vill ha en systematisk slumpmässighet. För det är ju så att t.ex. när vi frågar 1000 slumpmässigt utvalda svenskar så kan vi dra en slutsats kring ca 7,5 miljoner svenskar. Det är ju inte bara de tillfrågade vi kan dra slutsatser kring utan hela populationen som skall undersökas.

I USA är bortfallet uppe på över 90 % på deras väljarbarometrar. Något många tagit som en anledning att helt släppa det slumpmässiga urvalet, både i USA men många andra länder också. Mao bortfallet bedömer man vara så stort att man ger upp grunden i alla statistiska undersökningar. På mig låter det som man bestämt sig för att undersökningar inte fungerar längre alls med den retoriken.

Det kunde inte vara mer fel, tvärtom det fungerar mycket bra, men det kostar pengar, och kunskap har inte blivit gratis så klart.

I USA med över 90% bortfall så var trots det väljarundersökningar gjorde med slumpmässigt urval mot amerikanska folket de mest träffsäkra på 40 år.
Det var bara den lilla detaljen att dom mätte fel sak…. Istället för att mäta elektoralröster så mätte man popular vote för det var billigare. Inte bara lite billigare utan enormt mycket billigare.
Det har också ofta funkat i USA, men nu för andra eller tredje (beror på hur det egentligen var med Gore och Bush och om man dömde rätt i florida) så var det inte så att den so fick flest röster också vann presidentvalet.

Bloggade om USA valet bl.a här

Bortfallet är mao något som vi som seriöst undersökningsföretag skall hålla koll på. Tror vi att det är ett problem och inte följer upp det så skall vi inte släppa undersökningen.

Nur redovisar vi trots de siffran, huvudanledningen till detta är för att SVT och SR kräver att det redovisas för att de skall publicera en nyhet baserat på en undersökning. Detta krav kom för ca en månad sedan, och jag har haft dialog med dem innan, argumenterat mot, för i grunden sätter det fokus på fel ställe, men  förstår ändå varför de vill ha det. Det är pga den missuppfattningen kring SCB som jag nämnde ovan. Men det är också pga att IPSOS började redovisa sitt bortfall. Och det var siffror som på riktigt chockade oss på Novus. Vårt bortfqall är ca 51%, men IPSOS uppgav att det var närmare 86% på deras telefonundersökning, då blev det helt plötsligt viktigt också att visa att inte deras nivå var den vi hade. Vi begriper inte hur det kan vara så stor skillnad, jag bloggade om det här

Så främst på grund av dessa orsaker behöver vi vara tydliga med bortfallet och det är också därför SVT och SR vill se bortfallet.

Tydligheten som sådan är inget problem, men misstolkningen pga okunskap kring bortfallet är det. Så kom ihåg detta, siffran på bortfallet är inte det viktiga, det går inte att sätta en nivå på detta, det beror på många parametrar, 90% bortfall kan vara bra, 30 % kan vara rejält problematiskt, utan fråga om undersökningsföretaget står bakom resultatet. Det har man rätt att kräva som kund, journalist och medborgare.

Vem kan förresten lita på en undersökning om inte undersökningsföretaget som gjort den stå bakom resultatet i undersökningen och slutsatsen man kan dra från densamma? Det kokar med andra ord ned till förtroende, integritet och yrkesheder, som så mycket annat här i världen.


Torbjörn Sjöström

VD

Novus

Varför ligger S och M högre i SCB än i de andra väljarbarometrarna?

6 juni, 2018

Ok, sista blogginlägget om SCB nu, jag vill egentligen inte kommentera andras undersökningar så här, men pga den massiva mediebevakningen behöver jag ändå skriva mitt tredje blogginlägg om SCB på tre dagar.

I det första blogginlägget ville jag hur de skiljer sig åt mellan Novus VB, vår poll of polls och SCB för att man brukar säga att SCB överskattar S.

Självklart utgår jag från att vår väljarbarometer är facit. Något annat vore ju absurt. Vi gör allt vi kan för att den skall vara så bra och omfattande som möjligt. Ofta resulterar det i mindre roliga nyheter då förändringarna faktiskt blir mindre, för även om vi har mer lättrörliga väljare nu så är de inte hela havet stormar som det kan se ut i vissa självrekryterade väljarbarometrar. Tvärtom är förändringarna ganska små tycker jag, vi ser lite längre trender med lite mindre förändringar månad för månad. Men få ”stoppa pressarna” nyheter.

Hur kommer det sig att SCB ligger högre än oss på Socialdemokraterna och även i viss mån Moderaterna? Jag har funderat på detta rätt länge nu, för det är som ni ser i grafiken i detta blogginlägg inget nytt utan detta verkar pågå hela tiden.

Urvalets storlek och antal intervjuer:

Min teori är denna

SCB intervjuar ju 4632 personer under ca en månad, för att få in dessa svar så har man 8951 slumpmässigt utvalda personer som man frågar vad de skulle rösta om det vore val idag. Ungefär hälften svarar. MEN det är inte 8951 nya slumpmässigt utvalda personer. Utan man har en rullande panel. De man slumpmässigt väljer ut får vara med i tre undersökningar med 6 månaders mellanrum. En tredjedel byts ut vid varje undersökning. Så nu i maj så hade hade man 1/3 (ca 1500 svar) som svarade på sin tredje och sista undersökning, 1/3 (ca 1500 svar) som svarade på sin andra undersökning och 1/3 (ca 1500 svar) som svarade på sin första undersökning av tre.

Man gör detta för att kunna följa flöden bättre, och det kan ha sin plats. Men det innebär också att man kan få paneleffekter. Väljarbarometern är speciell, det tar jag upp gång på gång. Partisympati är så undersökt, och vi har en så hög noggrannhet att en procent hit eller dit har stor påverkan. Man (läs främst media) förväntar sig en noggrannhet på en decimal, men felmarginalen är ofta upp till 2 procent. Här kan man läsa lite mer om felmarginalerna

Men denna rullande panel skiljer sig från alla andra väljarbarometrar då vissa har fått svara på flera undersökningar av samma typ. Faktiskt exakt samma fråga i detta fall. Detta kan leda till paneleffekter. Börjar man få frågor om ett visst ämne och vet att man kommer få fortsatta frågor i samma ämne så är det lätt så att man blir lite mer påläst. Så det kan påverka.

Novus valde i senaste väljarbarometern ut 10 763 personer slumpmässigt enbart för den undersökningen. Så det sker inga paneleffekter.

En annan sak som kan påverka är ett ojämnt bortfall. När 2/3 av urvalet redan svarat på minst en väljarbarometer till innan från SCB så kan det vara så att de mindre lojala sympatisörerna faller bort i högre utsträckning än de mer partilojala. Socialdemokraterna och även i troligtvis Moderaterna kan dra nytta av fler partilojala som ”hänger kvar” och svarar på alla tre undersökningarna.

SCB har också genomgående en större andel osäkra väljare (den har legat konstant på 18 % där sedan juni 2015). Vilket stärker min tes. De osäkra har droppat av när man har flera upprepande undersökningar, man svarar på en sen blir man osäker och sätter sig på soffan, eller svarar inte alls.

Ni såg de många slutsatser om S väljare som satt sig på soffan förresten? När jag tittar på våra flödesanalyser så jämfört med valet 2014 så har S tappat absolut mest till SD, de har bara tappat lite väljare till soffan, fem gånger fler har gått till SD jämfört med soffan mellan valet och till maj. S har i vår senaste väljarbarometer tappat mer till SD under denna mandatperiod än vad M har gjort.

Andelen osäkra väljare i Novus VB var som jämförelse i maj 6,4 %

Denna paneleffekt med avdroppade lite mer osäkra väljare skulle inte bara förklara att S och M ligger lite högt i SCB, det skulle av samma anledning också förklara att C och SD ligger lite lågt, då det är två partier som vunnit mycket väljare under denna mandatperiod och har inte alls så många historiskt lojala väljare.

Så SCBs väljarbarometer även om det ser ut att vara väldigt många intervjuer, under lång tid tryckte man främst på hur många man sökt, vilket fick journalister att under lång tid säga att SCB hade 9000 intervjuer. När det i själva verket är ca 4600…

Vi andra redovisade inte hur många man sökt, utan hur många som svarat, vilket vi anser är den viktigaste frågan. För det är den man räknar felmarginaler osv på. Bortfallet är så klart viktigt, men samtidigt med den korta tid journalister har på sig att sätta sig in i frågor nu för tiden så är det viktigast att man frontar med de viktigaste siffrorna om man vill att rapporteringen skall bli korrekt.

Men av dessa 4 600 intervjuer så är det ca 1 500 som är nya denna undersökning. Det står säkert exakt i SCBs redovisning hur många som är nya och som är gamla, jag höftar lite här, för jag vill förklara konceptet.

För jag tror det är detta koncept som innebär att S och M överskattas i SCB jämfört med Novus (och de flesta andra etablerade undersökningsföretags väljarbarometrar)

Men oaktat dessa skillnader så bekräftade ju SCB med sin PSU Novus/SVTs rapportering om väljaropinionen det senaste halvåret. Som jag bloggade om dagen innan SCB så sa jag att nyheten borde bli

”S rasar stort!”, ”SD största vinnaren i SCB:s PSU!” Det blogginlägget finns att läsa här

Två exempel på gårdagens nyhetsvärdering

Och mycket riktigt, SCB hade inte jättefel, och nyhetsvärderingen blev exakt så, för det har vi ju som sagt sett i de väljarbarometrar som publiceras varje månad. Vi har ju följt dessa frågor med de bra väljarbarometrar som publiceras varje månad.

Hade SCB visat något annat så hade de sannolikt haft fel. För trenderna de bekräftade har många undersökningar visat.

Torbjörn Sjöström

VD

Novus