Siffrornas magi, om metodförändringar i väljarbarometrar

20 juni, 2017

Både sifo och ipsos har nu börjat labba med metoder på sin publicerade väljarbarometer.

Det blev mycket väsen när vi kompletterade vår enkät pga misstroendeeffekten https://www.svt.se/opinion/matfelen

En statsvetare gick i taket och jag fick mycket fokus i tidningen Fokus. En rätt rolig artikel ändå, kan läsas här:  https://www.fokus.se/2016/02/mathatet/

En väljarbarometer hos alla etablerade aktörer består av en kombination av frågor som sedan resulterar i vad svenska folket skulle rösta på om det var val i dag, där kompletterade vi på Novus med några frågor till bland de som inte kunde uppge ett parti.

Vi byggde vidare på en beprövad metod och täppte till det misstroendehål vi kunde konstatera efter valet 2014. Först då var det faktiskt möjligt att göra, även om det fanns många tyckare som trodde sig veta det ena och det andra, så gick det inte att fastställa att det var något systematiskt fel innan valet 2014. (förresten det finns inget bevis på shy Trump voters heller)

Sen hände inte mycket i undersökningsbranschen på drygt två år, men sommaren 2016 kom Ipsos med sin metodförändring efter flera månader med ganska stora variationer i sina siffror. Ipsos sa att det var för att kompensera för att de underskattade SD, men när metoden lanserades så såg man inget sådant den månaden: Vill man nörda ned sig har jag lagt in SD:s siffror från alla undersökare här: http://novus.se/blogginlagg/hur-mycket-skiljer-valjarbarometrarna-sig-pa-sd/

Nu gör Ipsos två undersökningar, en på telefon med oklart antal intervjuer. Samt en på webben, oklart antal intervjuer.
Dessa behandlas som separata undersökningar och slås sedan ihop efter modellen:
Hela telefonundersökningen och halva webb.
Totalt säger man att den består av 2000 intervjuer.
Men om det betyder:

  • 1000 telefon och 1000 webb som slås ihop?
  • 1000 + halva 1000?
  • Eller 1000 + halva 2000?
  • Eller 500 + halva 3000?
  • Eller 500 + 1500?

Har inte jag lyckats reda ut. (om inte information om fördelning kommit nu på senare tid, men jag har inte sett det när jag letat)
Men det enda jag med säkerhet kan konstatera är att det blir billigare, och att felmarginalerna försvann. Mao undersökningen ger ingen ledtråd alls om hur träffsäker den är.

Det verkar vara något magiskt med sommaren, för nu sommaren 2017 publicerade Sifo en undersökning på 12000 intervjuer. Jag trodde det var ett tryckfel.
Sen visade de att de gjorde samma sak som ipsos.
Två undersökningar, en på webb och en på telefon som sen slås ihop.
Men här vet vi ungefär fördelningen. Så här står det på SvD:s hemsida, hittar inget på Sifos ”De traditionella knappt 2 000 telefonintervjuerna har kompletterats med en slumpmässig webbpanel” (resten av detaljerna är oklara, jag har skickat några frågor men ännu inte fått svar. Så texten utgår från det som är publikt)

knappa 2000 telefon och 10 000 webb = 12 000
Wow! Det låter ju jättemycket. Även om jag är precis lika tveksam till metoden som på ipsos, mer om det längre ned.
Sen gör sifo så här
2000 + 10% av undersökningen med 10000 webintervjuer
Mao 2000 + 1000 = 12 000…
Om man slår ihop två undersökningar och bara räknar den andra till en tiondels värde kan man verkligen säga att alla intervjuer används?

Sen kommer nästa frågetecken, Ipsos tycker att webb är hälften så pålitlig som telefon. Sifo att webb är en tiondel så pålitlig.
Båda verkar överens om att webb är sämre, även slumpmässig webb. Varför då fylla på med något man själv värderar ned? Sen undrar man ju också hur de kom fram till en tiondel eller hälften, men detaljer egentligen, båda är överens om att webb är sämre än telefon.

Sen blir det för Sifo precis som med Ipsos att jag undrar om man inte nu tappar möjligheten till att beräkna felmarginalen.

Intressant nog ser jag att Sifo räknar felmarginalen i sin rapport på en ”vägd bas på 2195”, av de totalt 12 022 intervjuer som de säger de gjort. Månaden innan genomförde de 1900 intervjuer på telefon.

Sifos rapport för väljarbarometern finns här

Sifo räknar därmed felmarginalen på 18% av de intervjuer de genomför… Alternativt inga av webbintervjuerna från deras nya metod, och lite fler telefonintervjuer denna månad jämfört med 1900 månaden innan, vilket är det troliga, de ignorerar helt webintervjuerna, och använder bara telefonintervjuerna. Mao Sifos 12 000 intervjuer är inte mer träffsäker än deras gamla med knappa 2000 intervjuer enligt de själva. Vilket ju stämmer, men det blir ju extremt missvisande om man säger att det är 12 000 intervjuer.

Samtidigt säger de att den andra undersökningen med sina 10 000 intervjuer påverkar resultatet för väljarbarometern, men inte träffsäkerheten? Det blir ju inte heller rätt.

Metoden kallas av båda företagen för mixed mode, eller multimode (om det inte ändrats eller personerna jag pratat med på respektive företag sagt fel).

Men mixed/multi mode är en annan sak, då har man ett urval (en undersökning) och låter respondenterna svara antingen på web eller telefon. SOM har gjort det länge och SCB gör så sedan ett tag tillbaka.

Det centrala här är ETT urval.

Men det sifo och ipsos gör är att ha TVÅ olika urval och undersökningar som behandlas olika, och sedan slås ihop
Hel + halv för ipsos
Hel + en tiondel för sifo

Detta är inte mixed mode, utan låter snarare som en poll of polls där undersökningarna som ingår värderas efter trovärdighet. Det som fungerade bra för Nate Silver och gjorde honom till en superstjärna. Men det många glömmer är att det fungerade bra en gång och om jag inte räknat fel för 5 val sedan.

Samtidigt blir det ironiskt när amerikanska undersökningsföretagen i USA idag är överens om att största problemet i USA var ”aggregatorerna” som Nate Silver (jag kom nyss tillbaka som enda svensk undersökare från amerikanska branschens stora eftervalsanalys, ja jag vet borde skriva om den). Det dolde vital information och fick det att se ut som ett mindre osäkert val än det var.
Det som fungerade bäst var telefon i USA (men man mätte fel sak, en annan historia)

Har man två urval som kan överlappa blir det svårt att räkna felmarginaler. För det förutsätter att man har koll på sånt, och det är väldigt bökigt med två undersökningar.

Mao vi har nu både Ipsos och Sifo som kommer med vad de kallar förbättrade metoder där båda ökar på antalet intervjuer med undersökningar de själva värderar som mindre värda.
Båda får problem felmarginalen, eller som Sifo sm verkar ignorerar web helt där trots att de låter webintervjuerna påverka resultatet.
Båda liknar snarare en poll of polls.
Båda är tveksamt hur många intervjuer man egentligen gör, och vad som räknas

Sen får man så klart göra hur man vill. Men jag tycker det är tråkigt när man säger att man förbättrar med data som man själv värderar som mindre värd.

Sen kommer nästa steg, hur gör man en poll of polls på poll?
I teorin vet jag så klart, men praktisk nytta? Kan man göra en pytt i panna på pytt i panna?

Undersökningar är ingen exakt vetenskap, men rätt använt är den otroligt värdefull. Att ett eller flera partier har någon procentenhets skillnad jämfört med valet kan vi snarare räkna med, det kallas felmarginalen. Att någon siffra kommer utanför felmarginalen är en risk på tjugo.

Att då två etablerade undersökningsföretag gör det svårt att räkna felmarginalen gör det inte bättre, utan tyder tyvärr på att man bara ändrar för ändrandets skull, inte för att det behövs.

Är det en konsekvens av faktaresistens i det publika rummet, åsikter jämställs med kunskap?

Borde man inte som kunskapsleverantör försvara den vetenskap som finns istället för att laborera?

Stora experiment med metodutveckling gör vi på Novus vid sidan av våra publicerade undersökningar, inte med dom, vi kastar heller inte ut den vetenskap och beprövad erfarenhet som finns. Särskilt inte som det kan verka vara på grund av högljudda tyckares krav på förändring.

MEN trots det kunde alla seriösa undersökningsföretag i Sverige i valet 2014 korrekt ange det parlamentariska läget vi har nu. Svensk träffsäkerhet i politiska mätningar är en av de bästa i världen, Holland som hyllades nyss hade sämre träffsäkerhet, Frankrikes presidentval lite högre. I Sverige är vi otroligt bortskämda med bra undersökningar och statistik. Det skall man inte kasta bort.

Något som Ipsos och Sifo bekräftar (och ju så klart vet att så är fallet) genom att nedvärdera web som de gör. Telefon funkar idag bäst på väljarbarometern. MEN slumpmässig webb är otroligt träffsäker också. Problemet ligger snarare i att man blandar urval här, det går emot allt jag vet om undersökningar. Därför kommer vi inte göra så.

Men att säga att Sifos väljarbarometer innehåller 12 000 intervjuer är vilseledande, oavsett hur man tänker när de bara använder 3000 av dom, om man ens kan säga 3000 är jag inte ens säker på, iom det mer verkar likna en poll of polls.

Sen slutligen, det som jag insett är absolut viktigaste för undersökare som skall vara relevanta i framtiden är integritet, kunderna köper kunskap, inte siffror. Vad är den värd om man inte känner att man kan lita på avsändaren? Vi måste stå för den kunskap vi levererar, det innebär att tro på datan vi baserar analysen på, hela datan, inte halva eller en tiondel.

Torbjörn Sjöström

VD

Novus

Almedalsrapporten

29 maj, 2017

För andra året har vi på Novus tillsammans med Dagens Opinion och Retriever genomfört Almedalsrapporten med målet att skapa måtten som visar vilka som gjorde skillnad under Almedalsveckan och utifrån detta dra lärdomarna som leder till vi får ut mer av våra investeringar i Visby.

I årets rapport ser vi tecken på att Almedalsveckan blivit något mer känd hos allmänheten och vinner ökad acceptans även bland svenskarna som inte är på plats. Och egentligen. Vad är det som säger att Almedalsveckan inte kan bli en nationell angelägenhet av samma mått som Melodifestivalen?

 

”24 procent av svenskarna uppger att de följer vad som händer under politikerveckan i hög eller ganska hög utsträckning, enligt Novus undersökning.”

 

Här kan ni ta del av hela rapporten: Almedalsrapporten_2016

Om att veta var man ska hamra

12 mars, 2017

Häromdagen läste jag en gammal rolig berättelse som ni kanske har hört förut och känner till som the Boilermaker Story. Den påminde mig om värdet av kunskap, men även om den växande kompetensklyftan som vi ser inom många branscher, inte minst vår egen – marknadsundersökningsbranschen.

Historien berättar om en äldre ångpannetillverkare som anlitades för att reparera ett pannsystem för ett stort ångfartyg. Flera ingenjörer hade kämpat i veckor utan att lyckas lösa problemet medan företaget höll på att blöda pengar. Ägaren började bli otålig och krävde lösningar.

Efter att ha lyssnat till ingenjörernas beskrivning av problemet och ställt några frågor, gick den gamle ångpannetillverkaren till motorrummet.

Han ägnade några minuter för att titta på den enorma labyrinten av slingrande rör och knackade på några ledningar. Han lyssnade till ångpannans bullrande och bruset av den utströmmande ångan.

Till slut stoppade han handen i fickan, tog ut en liten hammare och fäste blicken på en klarröd ventil. Med snabba och bestämda slag rättade han den böjda ventilen. Driftstörningarna försvann och ångpannan funkade som den ska igen.

När ångfartygets ägare fick en räkning på tusen dollar, blev han upprörd. Han klagade på att ångpannetillverkaren bara hade varit i pannrummet i femton minuter och begärde en specificerad räkning. Den erfarne ångpannetillverkaren skickade honom en ny faktura:

Hamrande: $ 0,50

Att veta var och varför man ska hamra $ 999,50

Totalt $ 1 000,00

Humoristiskt och insiktsfullt pekar den här 50-tals historien på de utmaningar många företag har för att få tag på de unika kunskaper som krävs för att få fart på maskineriet. Den är lika aktuell (om inte mer) i dag och avslöjar hur vissa företag värderar kunskap utan ens att reflektera över den alternativa kostnaden – kunskapsbristen.

Ieva Englund,

Analytiker och konsult

M. ieva.englund @ novus.se

………………………………….

Undrar du om Novus? Kort: du hamrar, vi tar reda på var och förklarar varför.

www.novus.se

Ökar mest och dubbelt så mycket, blir lätt svårt med procent

8 mars, 2017

Andelen snöiga dagar i mars ökade idag med 100 %!

Hörde i morse att antalet mord har fördubblats, blev påmind om återigen om ordets makt, hur svårt det är med procent och vikten av perspektiv.

Vi vet sedan tidigare att inkomsklyftorna ökar mest i procent Sverige, och fortsätter det i den takten är vi typ de mest splittrade landet.

Men det man inte vet är att våra inkomstklöyftor ligger under EU genomsnittet och att tar man bort topp 1 % av de rikaste som tjänar pengar på kapital så ökar inte inkomstklyftorna i princip alls. Topp 1% drar upp topp 10 %, och sveriges inkomstklyftor är under EU genomsnittet.

Varför de ökar mest i procent i Sverige är främst för att vi har så låga nivåer. Men vet vi inte om den relativa placeringen och den faktiska ökningen så tror man att högst procent säger något. Men utan perspektiven blir det faktiskt en helt meningslös information.

Andelen snöiga dagar i mars ökade idag med 100 %

Igår snöade det i Stockholm för första gången i mars 2017.

Idag snöade det igen, då har antalet snöiga dagar ökat från 1 till 2. det är en 100% ökning. Fortsätter det i den så här kommer vi behöva stänga ned Stockholm och livet som vi känner det kommer att sluta. Antalet bilolyckor kommer att öka lavinartat, butiker kommer att behöva stänga ned. Skatteintäkterna kommer att rasa, samhällskollapsen är nära.

Procent kan vara en bra sak för att beskriva något, men man MÅSTE veta omfattningen, man BÖR veta några andra referensvärden, och det vore trevligt om man inte slänger sig med stora tal bara för sakens skull.

  • En tumregel är att dom känner inte till referenserna om någonting.
  • En annan är att dom flesta litar på massmedia tillräckligt mycket för att tro att det inte är en lögn
  • En tredje är att är man orkar i regel inte kolla upp allt man hör.

Hur var det då med att andelen mord hade fördubblats?

Jag vet inte, hörde påannonseringen, inte inslaget, jag orkar inte kolla upp det… Precis som många andra med andra ord.

Förresten jag tog upp frågan om storheter och OECD i avsnitt 12 av Novus Sanity check, ni kan se/lyssna på det här

 

Torbjörn Sjöström

VD

Novus

Om för och motpartier, ett sätt att försöka förklara populismen

7 mars, 2017

De populistiska partiernas framgång är kraftig i hela västvärlden, Trumps seger i USA valet är ett exempel, men det finns en lång rad exempel.

Om vi tar och utgår från Sverige som exempel så hade vi en ganska märklig situation, finanskrisens effekter i Sverige avfärdades, men även om vi inte hade så många konkurser och den omfattning av problem som nästan alla andra europeiska länder hade, så var vi inte opåverkade. Den oro som finanskrisen skapade med varselvåg och svarta rubriker tillsammans med syrienkrigets första flyktingvåg gjorde att vi påverkades i hög grad, här läggs en stor del av grunden till den oro vi nu börjar prata allt mer om i det publika rummet.

Oron som sedan cementerades i valrörelsen med slogans som ”Sverige håller på att gå sönder”, under valrörelsen vad det väldigt få referenser till finanskrisen. Målet var att sittande regeringen skulle förlora. Fokus blev på problemen och troligtvis hoppades S på att deras underliggande förtroende skulle räcka för att vara ett trovärdigt parti att lösa problemen.

Det är här vi kommer till för och motpartier. Något jag använt under några år för att försöka förklara den underliggande logiken kring den politiska utveckling vi ser, som med alla rubriker är det en generalisering och det finns alltid detaljer som komplicerar bilden, men det är ett bra ramverk för att lättare kunna förstå de stora dragen.

Förpartier är de partier som utifrån sin ideologiska övertygelse vill utveckla ett land genom sin politik. Fokus är en bättre framtid genom att lösa problem genom att applicera sin politiska vision. Målet är att det skall bli bättre, problemen löses genom förbättringar. I det stora hela är landet man lever i ganska bra, därför blir den praktiska politiken oftast mindre förändringar, sällan radikala reformer som vänder upp och ned på vår egen självbild som land. Även om retoriken i den politiska debatten är hård så är det de faktiska skillnaderna rätt små mellan olika för partier i ett stabilt land som Sverige.

Motpartier utgår från ett trasigt samhälle, där man snabbt måste stoppa en negativ förändring. Fokus är att nödbromsa en negativ utveckling. Oftast vill man tillbaka till hur det var förr. Förändringen som sker nu och förordas bland förpartierna är grovt skadlig och förstör landet. Det primära målet är inte lösningarna, utan att stoppa det akuta förfallet. Sedan kan man börja jobba med lösningar. Konfliktytan är oftast stor mot andra partier, inte bara retoriskt, men också faktisk. Ett motparti drar till sig flera typer av väljare, ideologin är inte så viktig, deras partiföreträdare kan verka helt osårbara för kriser som ett förpartis företrädare aldrig överlevt. En stor grupp av motpartiets väljare är där för att visa sitt missnöje, protestera mot förpartiernas tappade grepp om landet. Sedan finns det så klart även väljare som ideologiskt sympatiserar med motparitets ideologi, men tillväxten sker främst genom protest och missnöje. Motpartier tar väljare från regeringspartiet, och man röstar mot de andra pariternas misslyckade politik, och mot samhällets upplevda förfall.

Har ett motparti etablerat sig så finns det i regel varken utrymme eller behov av ett ytterligare motparti i ett land, det räcker med ett. Det faktiska politiska innehållet hos motpartiet är mindre viktigt, och dess företrädare förväntas nästan vara lite mer vildar och rebeller, det är ändå en protest deras väljare förväntar sig.

Om jag återigen använder Sverige som exempel, men detta gäller i hela västvärlden. När finanskrisen och syrienkriget började märkas i Sverige ökade antalet arga och oroliga människor, människor som i allt större grad blev övertygade om att samhället höll på att utvecklas åt fel håll, pengarna var slut, den negativa utvecklingen var utom kontroll för de etablerade partierna, som verkade mer fokusera på taktiken och att bibehålla eller få makten. Denna bild cementerades ännu mer under valrörelsen då Socialdemokraterna bekräftade oron genom att säga att Sverige håller på att gå sönder. Det Socialdemokraterna dock misslyckades med att komma med förslag på att lösa problemen de pekade på, man lät mer som ett motparti, mot Alliansen, än ett förparti. Det motparti som etablerat sig i Sveriges riksdag sedan valet 2010 var Sverigedemokraterna. Det var också det enda parti som vann väljare i valet 2014 jämfört med 2010. Och efter valet 2014 så har partiet fortsatt att växa kraftigt, och är nu Sveriges tredje största parti.

Drygt varannan svensk anser att Sverige utvecklas åt fel håll. Oron kring samhället är stor, samtidigt som man paradoxalt är väldigt trygg kring sin egen livssituation. Förtroendet för politiker sjunker, statsminister Stefan Löfven har ett markant lägre förtroende än Fredrik Reinfeldt när han förlorade valet 2014.

Novus har i februari kunnat visa att 75 % instämmer i att politikerna är mer intresserade av än att lösa de politiska problemen, 80 % instämmer i påståendet att politikerna blir mer avskärmade från väljarna, Bara 48 % anser att politikerna kan hantera de problem vi ser i samhället i mycket eller ganska stor omfattning. Läs mer om undersökningen här

Ett etablerat motparti behöver knappt göra något alls för att växa, för vi har en märklig trend inom politiken att förpartier allt mer försöker bli motpartier, vilket främst stärker det etablerade motpartiet, vi såg det innan valet 2014 och vi ser det också nu efter. Både Socialdemokraterna och Moderaterna har mer agerat som motpartier än de förpartier de historiskt varit. Det är ett mycket högt spel att agera som motparti i konkurrens med ett etablerat motparti. Istället måste de tillbaka till sin roll som förparti. Då det som sagt egentligen bara behövs ett motparti i ett land. Väljarna förväntar sig egentligen att politikerna skall vara pragmatiska, lösningsorienterade och leda landet i en positiv utveckling.

Nu är inte politiken isolerad från världsuppfattningen, och förpartier har en allt större utmaning i att världen uppfattas som mycket värre än den är, och den enorma bristen på perspektiv. Majoriteten som är trygg tror de är i minoritet och att deras framtid är hotad, och minoriteten som är otrygg för sin egen situation tror de är en bortglömd minoritet. Det är då lättare att bli ett motparti, men det är inte en hållbar situation varken för partiets existens eller för demokratin.

Torbjörn Sjöström

VD

Novus