Arkiv 2017

Lite om valfrihet, vinst i välfärden, konkurrens och vinst på skattemedel

6 september, 2017

I slutet på juni gjorde Novus en undersökning åt SVT kring vinst i välfärden och synen på valfrihet. Vi valde också att komplettera denna undersökning när den ändå gjordes med några ytterligare frågor för att lite bättre kunna rama in frågan.

Sammanfattning

Frågan kring konkurrens, valfrihet och vinst med skattemedel kan delas upp mellan hur alliansen och rödgrönas sympatisörer tycker i frågan, inte helt oväntat så klart. Rödgröna är i lägre grad för valfrihet, högre grad för vinstbegränsning då man är mer positiv till verksamhet i offentlig regi. Alliansen mer för valfrihet, konkurrens förbättrar kvaliteten och att privata aktörer kan leverera till det offentliga i större omfattning. SD:s sympatisörer mitt emellan rödgröna och alliansen men om något lite närmare alliansens åsikter än de rödgrönas.

Det som är mest uppseendeväckande i undersökningen är att det finns indikationer som tyder på en stark opinion mot vinst på skattemedel generellt som lätt kan förstärkas inom andra branscher. Skolan och sjukvården är lite mer speciell än så länge, där finns det starkaste motståndet kring vinst, men andra branscher kan snabbt komma i fokus och det finns en bred grundläggande misstro mot vinst baserat på skattemedel inom alla offentliga områden bland alla väljargrupper. T.ex. efter transportstyrelsen kan IT outsourcing bli sådan bransch där opinionen kan växa fort för ett generellt förbud kring privata aktörer, förbud mot vinster etc.

En sak som har varit tydlig utifrån den enormt långdragna debatten kring vinst i välfärden är hur den slår an känslomässigt, det är inget nytt och jag har refererat till tidigare, det har heller inte blivit bättre av en långraden polariserad, förenklad och primärt ideologiskt styrd debatt från i princip alla inblandade parter. Skolan och sjukvården är lite speciell nu, men det kan ändras fort. Väljarnas åsikt är i grunden okomplicerad: Skattemedel skall användas effektivt, ingen vill bli lurad.

Valfriheten i grundskolan

Först lite kort om valfriheten, där vi frågat om skolan. Den tas i stort sätt för givet av de flesta, tex här ser vi att det bara är 3% som anser att det är mycket oviktigt och 12 % som anser att det är mycket oviktigt att själv kunna välja grundskola. Det är nog många som glömt bort att detta inte alls var en självklarhet tidigare. Utan man gick i den grundskola man bodde närmast.

Denna fråga om vinst har ställts några gånger tidigare men här uppdaterad för att bli lite mer aktuell. Stödet för någon form av vinstbegränsning, kontroll av företag inom vård/skola/omsorg är mycket starkt. Vilket på ett sätt är helt naturligt så klart, att pengar går till finansiering av offentlig verksamhet utom någon som helst kontroll hade ju varit absurt. Lägg då till inramningen om skatteparadis, rapportering av oseriösa aktörer. Som jag sagt tidigare, man vill så klart inte bli lurad, frågan har ramats in i den kontexten. Är det så illa som det låter så skall så klart inte skattemedel betalas ut till oseriösa aktörer som inte levererar en bra produkt. Det som förvånar mig mest här är kanske hur en hel bransch misslyckats med att styra upp den här frågan, att de som är seriösa faktiskt inte jobbat stenhårt med att distansera sig från de oseriösa händelser som blivit inramningen i medierapporteringen. Nu dras hela branscher med i samma svepande beskrivning. Att en hel bransch skulle vara genomgående oseriös, enbart vinstmaximera och undvika skatt verkar det inte vara när man tittar på frågan lite närmare. För den delen om det skulle vara så att alla privata aktörer inom vårt skola omsorg skulle vara oseriösa då har vi ett enormt större problem än vinstbegränsning.

Hur är det med konkurrens? Tror man  den förbättrar eller försämrar kvaliteten? Är det skillnad på olika branscher?

En sak är jättetydlig, inom blindustrin förbättrar konkurrensen kvaliteten oavsett politiska sympatier.

Sen börjar det bli lite annorlunda. Väljare som sympatiserar med Alliansen anser i högre grad att konkurrens är bra i alla branscher, rödgröna sympatisörer att det är skillnad på vård och skola, bland dom anser man att konkurrens är dåligt för kvaliteten inom vård och skola. Vägbyggen är det ungefär lika många som anser att det förbättrar som försämrar, men bostadsbyggen och städning är konkurrens övervägande bra. SD:s sympatisörer är någonstans mittemellan. En övervikt för att konkurrensen förbättrar kvaliteten inom alla områden vi frågade, men också markant fler som tror att det är dåligt jämfört med alliansens sympatisörer.

Hur är det med synen på branscher? Är skolan och sjukvården speciell? Är det värre att tjäna pengar där än på andra ställen?

Vi testar här ett påstående som respondenten får instämma med. Inom skola och sjukvård är motståndet lite större kring att får tjäna pengar på skattemedel. Framförallt bland rödgröna där det är en tydlig skillnad. Bland rödgröna sympatisörer är det oavsett område ett större motstånd att företag går med vinst på skattemedel. Bland alliansens sympatisörer är man konsekvent med tidigare frågor och ser inte så stor skillnad på områden, men det är heller inte självklart att tjäna pengar på skattemedel. SD:s sympatisörer är lite mitt emellan Alliansens och rödgrönas sympatisörer i frågan.

Man ser här också att det är frågan om vinst på skattemedel som är en känslig fråga. Kvalitetskrav måste uppfyllas och man skall få valuta för pengarna. Skattemedel skall inte slösas utan kontroll.

Undersökningen som refereras till här är delvis publicerad i SVT under Almedalsveckan 2017.

Undersökningen genomfördes i Novus slumpmässigt rekryterade Sverigepanel med 1014 intervjuer på ett riksrepresentativt urval på åldern 18 – 79 år den 14 – 20 juni 2017.

Torbjörn Sjöström

VD

Novus

 

Om f.d. politiker som klagar på opinionsundersökningar

31 augusti, 2017

Jag hör lite då och då främst f.d. politiker som antingen nedlåtande eller raljerande kommenterar opinionsundersökningar.

”Jag lyssnade aldrig på opinionsundersökningar, jag pratade med mina statyer”

”Ja men det var ju bara en opinionsundersökning”

Visst är det tråkigt när någon klagar på ens yrke och något man är otroligt stolt över, men det finns en dimension till.

Det som raljeras över som opinionsundersökningar här är en metod och en process för att få fram kunskap kring väljarnas åsikt i en fråga, vad man tycker och vi ger oftast också svar om varför man tycker så.

T.ex.
En majoritet av svenska folket anser att Sverige utvecklas åt fel håll.

70% av svenska folket tror att skolan inte lär barnen det den ska. Men 70 % av de som har barn i skolan tycker att deras barns undervisning är bra.

Notera att det man raljerar över är inte att undersökningarna är felaktiga. Utan förekomsten av undersökningar. Undersökningar som visar folkviljan i aktuella politiska frågor.

När jag drar mig till minnes så är det bara f.d. politiker jag hört raljera över opinionsundersökningar.

Tur är väl det. Och vi får väl hoppas att man inte tänkte så när man var folkvald.

Torbjörn Sjöström

VD

Novus

 

Siffrornas magi, om metodförändringar i väljarbarometrar

20 juni, 2017

Både sifo och ipsos har nu börjat labba med metoder på sin publicerade väljarbarometer.

Det blev mycket väsen när vi kompletterade vår enkät pga misstroendeeffekten https://www.svt.se/opinion/matfelen

En statsvetare gick i taket och jag fick mycket fokus i tidningen Fokus. En rätt rolig artikel ändå, kan läsas här:  https://www.fokus.se/2016/02/mathatet/

En väljarbarometer hos alla etablerade aktörer består av en kombination av frågor som sedan resulterar i vad svenska folket skulle rösta på om det var val i dag, där kompletterade vi på Novus med några frågor till bland de som inte kunde uppge ett parti.

Vi byggde vidare på en beprövad metod och täppte till det misstroendehål vi kunde konstatera efter valet 2014. Först då var det faktiskt möjligt att göra, även om det fanns många tyckare som trodde sig veta det ena och det andra, så gick det inte att fastställa att det var något systematiskt fel innan valet 2014. (förresten det finns inget bevis på shy Trump voters heller)

Sen hände inte mycket i undersökningsbranschen på drygt två år, men sommaren 2016 kom Ipsos med sin metodförändring efter flera månader med ganska stora variationer i sina siffror. Ipsos sa att det var för att kompensera för att de underskattade SD, men när metoden lanserades så såg man inget sådant den månaden: Vill man nörda ned sig har jag lagt in SD:s siffror från alla undersökare här: http://novus.se/blogginlagg/hur-mycket-skiljer-valjarbarometrarna-sig-pa-sd/

Nu gör Ipsos två undersökningar, en på telefon med oklart antal intervjuer. Samt en på webben, oklart antal intervjuer.
Dessa behandlas som separata undersökningar och slås sedan ihop efter modellen:
Hela telefonundersökningen och halva webb.
Totalt säger man att den består av 2000 intervjuer.
Men om det betyder:

  • 1000 telefon och 1000 webb som slås ihop?
  • 1000 + halva 1000?
  • Eller 1000 + halva 2000?
  • Eller 500 + halva 3000?
  • Eller 500 + 1500?

Har inte jag lyckats reda ut. (om inte information om fördelning kommit nu på senare tid, men jag har inte sett det när jag letat)
Men det enda jag med säkerhet kan konstatera är att det blir billigare, och att felmarginalerna försvann. Mao undersökningen ger ingen ledtråd alls om hur träffsäker den är.

Det verkar vara något magiskt med sommaren, för nu sommaren 2017 publicerade Sifo en undersökning på 12000 intervjuer. Jag trodde det var ett tryckfel.
Sen visade de att de gjorde samma sak som ipsos.
Två undersökningar, en på webb och en på telefon som sen slås ihop.
Men här vet vi ungefär fördelningen. Så här står det på SvD:s hemsida, hittar inget på Sifos ”De traditionella knappt 2 000 telefonintervjuerna har kompletterats med en slumpmässig webbpanel” (resten av detaljerna är oklara, jag har skickat några frågor men ännu inte fått svar. Så texten utgår från det som är publikt)

knappa 2000 telefon och 10 000 webb = 12 000
Wow! Det låter ju jättemycket. Även om jag är precis lika tveksam till metoden som på ipsos, mer om det längre ned.
Sen gör sifo så här
2000 + 10% av undersökningen med 10000 webintervjuer
Mao 2000 + 1000 = 12 000…
Om man slår ihop två undersökningar och bara räknar den andra till en tiondels värde kan man verkligen säga att alla intervjuer används?

Sen kommer nästa frågetecken, Ipsos tycker att webb är hälften så pålitlig som telefon. Sifo att webb är en tiondel så pålitlig.
Båda verkar överens om att webb är sämre, även slumpmässig webb. Varför då fylla på med något man själv värderar ned? Sen undrar man ju också hur de kom fram till en tiondel eller hälften, men detaljer egentligen, båda är överens om att webb är sämre än telefon.

Sen blir det för Sifo precis som med Ipsos att jag undrar om man inte nu tappar möjligheten till att beräkna felmarginalen.

Intressant nog ser jag att Sifo räknar felmarginalen i sin rapport på en ”vägd bas på 2195”, av de totalt 12 022 intervjuer som de säger de gjort. Månaden innan genomförde de 1900 intervjuer på telefon.

Sifos rapport för väljarbarometern finns här

Sifo räknar därmed felmarginalen på 18% av de intervjuer de genomför… Alternativt inga av webbintervjuerna från deras nya metod, och lite fler telefonintervjuer denna månad jämfört med 1900 månaden innan, vilket är det troliga, de ignorerar helt webintervjuerna, och använder bara telefonintervjuerna. Mao Sifos 12 000 intervjuer är inte mer träffsäker än deras gamla med knappa 2000 intervjuer enligt de själva. Vilket ju stämmer, men det blir ju extremt missvisande om man säger att det är 12 000 intervjuer.

Samtidigt säger de att den andra undersökningen med sina 10 000 intervjuer påverkar resultatet för väljarbarometern, men inte träffsäkerheten? Det blir ju inte heller rätt.

Metoden kallas av båda företagen för mixed mode, eller multimode (om det inte ändrats eller personerna jag pratat med på respektive företag sagt fel).

Men mixed/multi mode är en annan sak, då har man ett urval (en undersökning) och låter respondenterna svara antingen på web eller telefon. SOM har gjort det länge och SCB gör så sedan ett tag tillbaka.

Det centrala här är ETT urval.

Men det sifo och ipsos gör är att ha TVÅ olika urval och undersökningar som behandlas olika, och sedan slås ihop
Hel + halv för ipsos
Hel + en tiondel för sifo

Detta är inte mixed mode, utan låter snarare som en poll of polls där undersökningarna som ingår värderas efter trovärdighet. Det som fungerade bra för Nate Silver och gjorde honom till en superstjärna. Men det många glömmer är att det fungerade bra en gång och om jag inte räknat fel för 5 val sedan.

Samtidigt blir det ironiskt när amerikanska undersökningsföretagen i USA idag är överens om att största problemet i USA var ”aggregatorerna” som Nate Silver (jag kom nyss tillbaka som enda svensk undersökare från amerikanska branschens stora eftervalsanalys, ja jag vet borde skriva om den). Det dolde vital information och fick det att se ut som ett mindre osäkert val än det var.
Det som fungerade bäst var telefon i USA (men man mätte fel sak, en annan historia)

Har man två urval som kan överlappa blir det svårt att räkna felmarginaler. För det förutsätter att man har koll på sånt, och det är väldigt bökigt med två undersökningar.

Mao vi har nu både Ipsos och Sifo som kommer med vad de kallar förbättrade metoder där båda ökar på antalet intervjuer med undersökningar de själva värderar som mindre värda.
Båda får problem felmarginalen, eller som Sifo sm verkar ignorerar web helt där trots att de låter webintervjuerna påverka resultatet.
Båda liknar snarare en poll of polls.
Båda är tveksamt hur många intervjuer man egentligen gör, och vad som räknas

Sen får man så klart göra hur man vill. Men jag tycker det är tråkigt när man säger att man förbättrar med data som man själv värderar som mindre värd.

Sen kommer nästa steg, hur gör man en poll of polls på poll?
I teorin vet jag så klart, men praktisk nytta? Kan man göra en pytt i panna på pytt i panna?

Undersökningar är ingen exakt vetenskap, men rätt använt är den otroligt värdefull. Att ett eller flera partier har någon procentenhets skillnad jämfört med valet kan vi snarare räkna med, det kallas felmarginalen. Att någon siffra kommer utanför felmarginalen är en risk på tjugo.

Att då två etablerade undersökningsföretag gör det svårt att räkna felmarginalen gör det inte bättre, utan tyder tyvärr på att man bara ändrar för ändrandets skull, inte för att det behövs.

Är det en konsekvens av faktaresistens i det publika rummet, åsikter jämställs med kunskap?

Borde man inte som kunskapsleverantör försvara den vetenskap som finns istället för att laborera?

Stora experiment med metodutveckling gör vi på Novus vid sidan av våra publicerade undersökningar, inte med dom, vi kastar heller inte ut den vetenskap och beprövad erfarenhet som finns. Särskilt inte som det kan verka vara på grund av högljudda tyckares krav på förändring.

MEN trots det kunde alla seriösa undersökningsföretag i Sverige i valet 2014 korrekt ange det parlamentariska läget vi har nu. Svensk träffsäkerhet i politiska mätningar är en av de bästa i världen, Holland som hyllades nyss hade sämre träffsäkerhet, Frankrikes presidentval lite högre. I Sverige är vi otroligt bortskämda med bra undersökningar och statistik. Det skall man inte kasta bort.

Något som Ipsos och Sifo bekräftar (och ju så klart vet att så är fallet) genom att nedvärdera web som de gör. Telefon funkar idag bäst på väljarbarometern. MEN slumpmässig webb är otroligt träffsäker också. Problemet ligger snarare i att man blandar urval här, det går emot allt jag vet om undersökningar. Därför kommer vi inte göra så.

Men att säga att Sifos väljarbarometer innehåller 12 000 intervjuer är vilseledande, oavsett hur man tänker när de bara använder 3000 av dom, om man ens kan säga 3000 är jag inte ens säker på, iom det mer verkar likna en poll of polls.

Sen slutligen, det som jag insett är absolut viktigaste för undersökare som skall vara relevanta i framtiden är integritet, kunderna köper kunskap, inte siffror. Vad är den värd om man inte känner att man kan lita på avsändaren? Vi måste stå för den kunskap vi levererar, det innebär att tro på datan vi baserar analysen på, hela datan, inte halva eller en tiondel.

Torbjörn Sjöström

VD

Novus

Almedalsrapporten

29 maj, 2017

För andra året har vi på Novus tillsammans med Dagens Opinion och Retriever genomfört Almedalsrapporten med målet att skapa måtten som visar vilka som gjorde skillnad under Almedalsveckan och utifrån detta dra lärdomarna som leder till vi får ut mer av våra investeringar i Visby.

I årets rapport ser vi tecken på att Almedalsveckan blivit något mer känd hos allmänheten och vinner ökad acceptans även bland svenskarna som inte är på plats. Och egentligen. Vad är det som säger att Almedalsveckan inte kan bli en nationell angelägenhet av samma mått som Melodifestivalen?

 

”24 procent av svenskarna uppger att de följer vad som händer under politikerveckan i hög eller ganska hög utsträckning, enligt Novus undersökning.”

 

Här kan ni ta del av hela rapporten: Almedalsrapporten_2016

Fem myror är fler än fyra elefanter, vem har Sveriges största väljarbarometer?

21 mars, 2017

Fem myror är fler än fyra elefanter

Vi minns alla detta barnprogram. Där man lärde sig storheter och att stora djur kunde vara färre än de små. Grunden i mängdlära helt enkelt.

Konstigt nog dök just detta uttryck upp i mitt huvud när jag på Sifos förstasida såg denna formulering:

”vår väljarbarometer är Sveriges största undersökning av väljarsympatier. Läs med här!”

Klickar man på den så kommer man till Sifos väljarbarometer. Men hur den är Sveriges största finns det ingen information om.

Till saken hör att Novus väljarbarometer innehåller en normal månad 4000 intervjuer, vi genomför 1000 intervjuer per vecka, och brukar publicera en väljarbarometer var fjärde vecka.

Sifos väljarbarometer innehåller knappt 2000 intervjuer en gång i månaden.

Hur kan 2000 vara mer än 4000?

Hur kan en undersökning som innehåller 2000 intervjuer vara Sveriges största? Större än en som innehåller 4000 intervjuer?

Jag mailade Toivo Sjören som är opinionsansvarig på Sifo, och fick svaret att utöver de 2000 som publiceras så gör de 2000 intervjuer som aldrig publiceras, dessa räknar de in när de säger att de är störst.

För det första även om man räknar in ickepublicerade intervjuer så blir deras väljarbarometer lika stor som Novus, alltså fortfarande inte störst i Sverige.

För det andra och viktigast, om man räknar in ickepublicerade intervjuer så är man ute på ett mycket djupt vatten. Majoriteten av de undersökningar som genomförs är inte publicerade, och att räkna in sånt i en undersökning är inte bra. Skulle vi räkna på samma sätt så skulle det se helt annorlunda ut också i vårt antal intervjuer.

Undersökningsbranschen är en förtroendebransch. Detaljer är viktigt. En del av vår verksamhet är omvärldsbevakning, och att då på sin förstasida komma med ett uppenbart felaktigt påstående, som också är väldigt kaxigt. Sveriges största väljarbarometer.

Det vi kan utgå från är att jämföra de väljarbarometrar som publiceras. Och skriver man att man genomfört 2000 intervjuer så måste vi kunna lita på att det är 2000, inte att det egentligen är 4000 men det tänker vi inte tala om. Mer än felaktigt säga att man är störst.

Vad säger det om ett företag som slarvar med detaljer som detta? Jag är chockad faktiskt.

Jag säger inte att Novus har Sveriges största väljarbarometer, men jag kan konstatera att Novus publicerade väljarbarometer är dubbelt så stor som Sifos publicerade väljarbarometer.

Novus ökade antal intervjuer i april 2015 så att det skulle vara möjligt att bättre kunna dra slutsatser kring de partier som ligger runt 4%, då behöver man ett större underlag, då har storleken faktiskt betydelse.

Jag hoppas att SIFO slutar säga att deras väljarbarometer är Sveriges största undersökning av väljarsympatier.

Det vore också bra med en rättelse från deras sida. Det är detaljer och sanning vi jobbar med som företag. Inte alternativa fakta i form av icke publicerade intervjuer. I mina ögon är detta mycket illa att det över huvud taget stått där. Hur länge de sagt det är en annan sak. Man måste ta ansvar för sina uttalanden och man måste vara tydlig med rättelser.

För det är helt enkelt inte sant.

Torbjörn Sjöström

VD

Novus