Arkiv 2017

Metoduppdatering Novus svensk väljaropinion

9 december, 2017

På grund av det metodförändringar som skett under året hos våra konkurrenter så stoc vi som jag skrev inför två val, att lägga ned Novus svensk väljaropinion eller att revidera modellen. Det är ingen stor förändring, men dock än förändring.

Det mesta i detta inlägg stämmer fortfarande: Om Novus Svensk väljaropinion, poll of polls

Hur vi resonerar kring grunderna för förändringen kan läsas här: Alla dessa metodförändringar och synen på Novus Svensk väljaropinion

Från November 2017 så ingår

  • Novus
  • Sifo
  • Demoskop
  • Ipsos

Grunden i alla dessa är fortfarande ett sannolikhetsurval baserat på Sveriges befolkning. Dock kompliceras detta i olika grad hos olika aktörer.

Av dessa är det bara Novus som har ett urval som är baserat på endast ett sannolikhetsurval utifrån ett urval baserat på befolkningsregistret. De andra har en kombination av flera urvalskällor i olika omfattning.

Idag finns det bara ett sätt att få fram ett sådant register, och det man får fram är adress och telefonnummer. Vill man få fram e-postadress behöver kan kontakta individerna och fråga om e-postadressen.

Det finns också en utmaning med just väljarbarometern och det är att den är extremt träffsäker, så IT vana hos äldre är en fråga vi inte kan ignorera utan att påverka träffsäkerheten negativt. En grupp man inte når kan man inte . Därför är telefon det bästa för att få ett urval som inte systematiskt ignorerar vissa grupper. Bortfallet på telefon leder till slumpmässiga urvalsfel, inte systematiska, som enbart web skulle leda till, utifrån en åsiktsrepresentativitet.

Därför är telefon idag kärnan i alla trovärdiga väljarbarometrar, som inte är beroende av andra undersökningar för att få ett träffsäkert resultat.

Genom att utgå från detta, att det är ett sannolikhetsurval baserat på befolkningen som är det enda pålitliga sättet att genomföra en väljarbarometer, samt att det finns urvalsproblem som i vanliga fall inte spelar så stor roll, men för väljarbarometern så har det en negativ inverkan på träffsäkerheten. Så kommer vi till en modell som tar hänsyn till detta.

Sedan innan är det antal intervjuer som anger hur stor inverkan på en Poll of polls en undersökning har. T.ex. Novus 4000 intervjuer har 4 gånger så stor inverkan på slutresultatet jämfört med en undersökning på 1000 intervjuer.

Men här väljer vi att räkna på det som bidrar positivt: sannolikhetsurval som kontaktas via enbart för denna undersökning.

Sen räknar vi av det som bidrar negativt i olika grad: Urval som kontaktas för att fylla på av olika anledningar, här används web av Sifo, Demoskop och Ipsos. Dock i olika grad. Sifo räknar sina webb till 10%, Ipsos har 600 telefon och sedan 1000 web som räknas till 50% av deras 600 telefon. Vi räknar av ned inverkan baserat på andelen web. Men förenklat, ju färre intervjuer och ju mindre andel av resultatet som kommer från ett urval som kontaktas primärt för väljarbarometern desto mindre inverkan har den väljarbarometern  i Novus svensk väljaropinion.

I November ser fördelningen ut så här.

Ja det blir lite fånigt när Novus gör nästan lika många intervjuer 11 gånger om året i sin väljarbarometer som ”stora” SCB gör 2 gånger om året. Det blir extremt tydligt i en poll of polls. Så har det varit länge och inte bara i Novus utan även i Sveriges radios, men för transparensen skull vill vi att det skall redovisas. Och som ni ser så är det inte bara antal intervjuer som vi har med i beräkningen, utan också andelen som är i grundurvalet i undersökningen. Antal intervjuer är de som genomförts i den månaden. I bilden ovan är det November. Om en undersökning har en fältperiod som överlappar flera månader så räknas antal intervjuer om utifrån antagandet att antal intervjuer är jämnt fördelat över hela fältperioden.

Återigen, väljarbarometern är extremt träffsäker i Sverige, och förväntansgraden är på decimalen. Det går att göra mycket pålitliga undersökningar genom slumpmässigt rekryterade webpaneler. Men inte med den extrema träffsäkerhet som förväntas i en väljarbarometer, där vi vet att grupper utanför urvalet också räknas i minst lika hög grad. Man måste alltid välja metod utifrån behovet. Väljarbarometern är nog det tydligaste exemplet på det. särskilt i ett land med så högt valdeltagande som Sverige har. Här ställs det på sin spets.

Torbjörn Sjöström

VD

Novus

Alla dessa metodförändringar och synen på Novus Svensk väljaropinion

6 december, 2017

Det har varit många metodförändringar under denna mandatperiod, intressant med tanke på vilket hallå det var när Novus redan på valdagen insåg att det fanns något systematiskt fel som ledde till att SD underskattades.

Våra konkurrenter verkade nöjda med sin metod, de var i alla fall allmänt tysta. Det var i princip bara jag som kommenterade, försökte förklara misstroendeeffekten samt vad man kan och inte kan lita på. Kulmen var nog Fokus långa artikel som nästan bara kretsade kring Novus ”radikala” ändring av metod med det spännande rubriken ”Mäthatet”

Vår metodförändring var verkligen inte radikal, men jämfört att inte göra något alls var den kanske det, det mest radikala var nog att jag och Novus tog felet på allvar, agerade direkt och förklarade hur vi tänkte. Vår metodförändring var baserad på beprövade metoder och våra egna studier kring väljarbeteende. Vi ändrade inte metod men gick från 3 frågor till att lägga på några ytterligare för att bättre förstå de osäkra väljarna och vart de lutade.

Sen inför sommaren 2016, mer än två år efter valet, gjorde Ipsos en massiv metodförändring. De lanserade en ny väljarbarometer baserat på två undersökningar, en på okänt antal telefonintervjuer och en på okänt antal webintervjuer. Båda hanterades separat och slogs sedan ihop enligt devisen hela telefon och halva webb. Man passade samtidigt på att ta bort felmarginalerna och decimalerna. Hur hanterar man en undersökning utan decimaler och utan felmarginaler? Vi hade inget annat val än att ta bort dom från Novus Svensk väljaropinion®. Det fanns inte ens någon information om antal webb vs antal telefon. Det var bara en totalsumma. Det gick inte att se hur mycket webb och telefon bidrog till resultatet. Det gick inte att förhålla sig till hur stor påverkan de olika undersökningarna påverkade totalen.

Det går att vikta till webb att så det ser rätt bra ut på totalen i en väljarbarometer. Sverige är speciellt, vi har redan extremt hög träffsäkerhet och förväntan på alla väljarbarometrar är skyhöga, och valdeltagandet är också högt, även bland de som inte är på nätet, där skiljer sig Sverige från de flesta länder. Det problem man pratar om i USA är vi inte alls i närheten av i Sverige, trots det verkar man försöka lösa problem som inte ens finns här. Vilket är extremt onödigt när vi kunde jobbat framåt och förfina, så går man snarare till att göra saker sämre. Om det är för att allt skall bli billigare eller för att man tappat fokus, ja det låter jag vara osagt nu, jag kan bara konstatera att metodförändringarna är extremt märkliga och förklaringarna inte stämmer med problembeskrivningen, problembeskrivningen stämmer inte ens med verkligheten i vissa fall.

För att få en väljarbarometer som är lika bra på webb som den på telefon idag behöver den i praktiken viktas hårt mot ett färskt facit på telefon. Den kommer då se bra ut på totalen men undergrupperna brukar se mycket konstiga ut. Vi jobbar självklart själva med metodjämförelser och följer detta löpande hela tiden, de flesta undersökningar är på web hos oss, och de är mycket pålitliga, men väljarbarometern är speciell. Nästan alla röstar men alla dessa hittar man inte på nätet, och vi är bortskämda med en extremt hög träffsäkerhet redan, vilket gör att vi idag inte ser att webundersökningar ökar på träffsäkerheten utan om något sänker den. Men det har som sagt att göra med att vi är vana vid en extremt hög träffsäkerhet på väljarbarometrar i Sverige. Varför laga något som inte är trasigt. Och SD:s underskattning är enligt våra studier inte en fråga om urval, utan misstro.

Att gå från interna tester och metodstudier till att lansera en ny metod så här långt in på en mandatperiod begriper jag inte. Delvis är det för många steg som innehåller frågetecken. Hade Ipsos visat resultatet av de två undersökningarna var för sig, samt hur den sammanslagna såg ut hade man kunnat värdera modellen. Vi hade då t.ex. också kunnat välja att ha med enbart deras telefonundersökning i vår sammanvägning, och avvakta med det andra till vi ser hur det fungerar i nästa val. Istället landade en svart låda, som man utifrån vår kunskap och studier inte går att begripa hur det kunde bidra till någon förbättring. Snarare skapade det fler frågor kring metoden, hur viktar man på GAL-TAN? Vad viktar man mot egentligen? Problembeskrivningen och lösningen höll inte ihop logiskt, stämde dessutom illa med de faktiska utmaningarna som finns i Sverige. Bortfallet är inte alls det stora problem man utmålat det som. Men ponera att den forskning som finns har fel och att bortfallet trots allt skulle vara det centrala problemet, hur löser man bortfallet på telefon genom att gå över till en telefonrekryterad webpanel? Den rekryteras ju på telefon… Men i praktiken gör det inget för bortfallet är inte alls ett så stort problem. Men varför är det då centralt i orsaken till metodförändring. Ok, lämnar detta nu.

Ett år efter detta, sommaren 2017, kom Sifo med en till synes stor förändring men som i praktiken var mycket liten. Man sa helt plötsligt att man genomfört 12 000 intervjuer, jag trodde det var ett tryckfel. Ca 2000 telefon och 10 000 webb. Men det visar sig sedan att man räknar 10 000 webb till att vara värda 10% av telefonintervjuerna, så man räknar 12 000 intervjuer som drygt 2000. Något man själv till mig kallar hårklyveri men ändå OK… I Sifos egen rapport står det fortfarande att den vägda basen är drygt 2000 intervjuer, de intervjuer de själva räknar på, denna vägda bas består till 90% av telefon.

Nu senast i november 2017 lanserar Demoskop en ny metod. 1000 telefon och 600 webb. Webb på en panel byggd med hjälp av att rekrytera från pop up från en mängd webbsidor. Demoskop hävdar själva att det inte är självrekryterat. Dock betyder inte det att det är ett oberoende slumpmässigt urval utifrån svenska folkets befolkning. Besökare på hemsidor är mycket svårt att likställas vid ett slumpmässigt urval av svenska folket. Demoskop är extra speciellt här. Demoskop var aktiva i att kritisera Novus metodförändring. Det hävdades främst att vi saknade transparens i vår metodförändring. Det var milt sagt ett jäkla liv. Det enda man åstadkom då var att jag fick reda på hur man kan agera i det närmaste rättshaveristiskt bakom kulisserna. Sen kommer de med en förändring och en metodbeskrivning som väcker fler frågor än svar, där man inte ens kan avgöra hur urvalet kommer till och en andel av deras intervjuer inte längre verkar vara baserad på ett slumpmässigt urval av Sveriges befolkning. Att Ekot nu verkar tagit bort Demoskop från sin lista samtidigt som de behållit Ipsos säger något om detta antar jag.

Vad hände egentligen? Att direkt efter ett val revidera sin metod är inte så konstigt om man kan konstatera att det fanns ett systematiskt fel. Först då det gick att konstatera att det fanns ett systematiskt problem. Det har killgissats en hel del under tiden, obefogade slutsatser där man ignorerat den fakta som fanns och hävdat att det fanns en skameffekt. Det fanns ingen faktagrund för detta då. Först efter valet 2014 man kunde fastställa att något inte stämde kring SD:s siffror. Vi på Novus tog tag i detta redan omedelbart och började att korrigera vår metod och lanserade den så snart den var klar kort efter valet.

Stora metodförändringar flera år efter valet öppnar upp många utmaningar, t.ex. minnesfelet spelar in, vad röstade man egentligen på i valet för några år sedan? Vad är egentligen rätt, vad är fel? Hursomhelst, nu har vi en situation där alla gjort mer eller mindre drastiska förändringar, Novus är den enda aktör förutom SCB som enbart utgår från ett urval där man försöker skapa ett slumpurval så långt det går. Demoskop är den enda aktör som delvis avviker från ett slumpmässigt urval utifrån svenska folket. Ipsos verkar vara den enda som tagit bort felmarginaler. Sifo anser att 2000 telefon är mycket fler än 10 000 web. (10 000 webb räknas som ca 200 st telefon).

Då till Novus Svensk väljaropinion®. Det är en sammanställning av de etablerade väljarbarometrarna för att ge en lite bredare bild av opinionsläget. Något Novus gjort i ca 10 år. Kravet var att man utgick från den vetenskap och beprövad erfarenhet, vilket även gäller idag. För vi vill ju inte ha med undersökningar som inte bidrar till att öka träffsäkerheten. En poll of polls utgår från teorin att många korrekta undersökningar som slås ihop skapar en högre träffsäkerhet för att man har fler intervjuer. Genomsnittet jämnar ut individuella mätfel.

Men hur gör vi nu? Tre av fyra institut som tidigare utgått från vetenskap och beprövad erfarenhet avviker nu från detta i olika grad.

Går det ens att göra en trovärd poll of polls?

Vi kanske skall nöja oss med att Novus gör den mest omfattande väljarbarometern som finns i Sverige. 4000 genomförda intervjuer 11 gånger om året är det ingen som kommer ens i närheten av, detta summeras upp till ca 44 000 intervjuer på ett år. Näst störst är Sifo med drygt 2000, ca 22 000 på ett år, SCB som anses vara störst har 9400 på ett år. SCB har nämligen den irriterande egenheten att de presenterar hur många de sökt jättetydligt, antal intervjuade kommer mer i skymundan. Så de ser JÄTTESTORA ut. Men verkligheten är halva den uppgivna siffran.

Och det är sant Novus väljarbarometer har ett mycket starkt track record. I EU valet var vi närmast, i riksdagsvalet 2014 var vi närmast av de undersökningsföretag som idag verkar på svenska marknaden. Vår träffsäkerhet är bevisad val efter val, och vi tog det systematiska felet 2014 på allvar direkt.

Men jag vill inte lägga ned Novus Svensk väljaropinion® för att våra kollegor gör kraftiga metodförändringar. Samtidigt kan vi inte låtsas som att det inte hänt stora förändringar. Vi måste fortsatt utgå från vetenskap och beprövad erfarenhet. Det finns idag inget som är bättre än ett slumpmässigt urval.

Om vi då tittar med dessa ögon på de väljarbarometrar som idag publiceras och ändå är etablerade så har de en kärna som kretsar kring detta. Idag kan man också se hur många intervjuer som är genomförda med en pålitlig metod.

Detta kommer att vara vår bas i hur vi räknar vår poll of polls framöver.

Novus Svensk väljaropinion kommer framöver att innehålla:

  1. Novus
  2. Sifo
  3. Demoskop
  4. Ipsos

Men deras vikt in i resultatet kommer att vara baserat på andelen slumpmässigt genomförda intervjuer och hur stor utspädning deras andra intervjuer/metoder bedöms ha.

Det som fortfarande förenar Novus, Sifo, Demoskop och Ipsos är att ett slumpmässigt urval är basen i väljarbarometern.

Det som skiljer Novus från resten är att vi är ensamma om att ha en undersökning baserad på ett enda  slumpmässigt urval.

Det som förenar Sifo, Demoskop och Ipsos är att de fortfarande ser ut att värdera det slumpmässiga urvalet baserat på telefonintervjuer högre än deras webdel. Med andra ord kärnan verkar fortfarande vara baserad på den vetenskap kring urval som finns idag.

Sifo räknar inte sina web i princip alls, slutresultatet i deras väljarbarometer påverkas till 10% av deras webintervjuer. Ipsos räknar sina 1000 webb som att vara hälften så mycket värda som sina 600 telefon. Demoskop fyller på sina 1000 telefonintervjuer med 600 webintervjuer som inte är slumpmässigt utvalda från svenska befolkningen.

Mer detaljer kring hur vi reviderar metoden kommer att publiceras i samband med nästa publicering av Novus svensk väljaropinion®.

I dag är Omni publiceringspartner för denna.

Torbjörn Sjöström

VD

Novus

Novus Svensk väljaropinion® är ett registrerat varumärke som till hör Novus (Novus Group International AB)

Om Novus svensk väljaropinion och poll of polls

2 december, 2017

Detta är ett inlägg jag funderat på att skriva i ett drygt år.

Jag har fått lite frågor av typen, va har ni tappat Ekot?

Men nu är det läge att skriva om detta känner jag. Novus Svensk väljaropinion är en svensk poll of polls som sammanställs av Novus, baserat på en metod som Novus använt i ca 11 års tid. Långt innan Ekot fick första publiceringen.

Novus Svensk väljaropinion är ett registrerat varumärke som tillhör Novus.

Ekot fick publiceringen på denna. Sen har man tagit ut svängarna lite hit och dit under åren. Men det var Novus modell, det var Novus som räknade, och publiceringsdagen skedde i samråd med Novus. Något annat har det aldrig varit.

Men sedan ändrade Ipsos sin modell, och inte lite. Man tog bort felmarginalerna och man tog bort decimalerna. Det var då omöjligt att veta hur många telefonintervjuer som ingick och hur många webintervjuer. Ipsos släppte helt plötsligt något som liknade en egen liten sammanvägd poll of polls men på sina egna två icke publicerade undersökningar.

När man tog bort felmarginalen visade man att man inte visste alls hur träffsäker undersökningen var.

När man tog bort decimalen tog man bort noggrannhet och la in en massa avrundningsfel. Om jag inte minns fel kunde summan bli 104% i början. Nu avrundar man igen för att kompensera för det. Men en decimal mindre än alla andra skapar ökad osäkerhet och skulle faktiskt ta bort möjligheten att räkna med decimaler någonstans alls i en sammanvägning. I alla fall för en tekniker som mig. Man kan egentligen inte ha en högre noggrannhet än den lägsta.

Hursomhelst, när Ipsos ändrade metod räknade vi baklänges en månad, men efter sommaren hade jag ett samtal med Ekot om att det inte går. Vi hade flera diskussioner, men det jag mest minns som var det som verkar vara avgörande för Ekots chef Olle Zachrison var detta han sa ”Är det på DNs förstasida så är det en nyhet”

Jo det må vara sant, är det i nyheterna så är det en nyhet per definition. MEN det jag funderar på är om det är en nyhet som andra redaktioner skall ta som en korrekt nyhet och sanning. Är det verkligen nyhetsmässigt intressant. För i detta fallet kring en undersökning är det mycket svårt att kunna säga att det är nyhetsmässigt intressant om inte ens IPSOS själva har en felmarginal som indikerar i vilken omfattning undersökningen är korrekt. Om inte ens undersökningsföretaget själv kan säga något? Är det verkligen nyhetsmässigt intressant då?

Men med de orden från Olle var hans diskussion klar. Jag sa att Novus fortsätter att publicera Novus Svensk väljaropinion, som är baserad på Novus modell, men då får väl Ekot göra något annat om de måste ha med Ipsos, trots de krockar med metodkraven som Novus satt upp som grund för Novus Svensk väljaropinion, för vi kan inte ha med dom i vår poll of polls.

Sen börjar det riktigt konstiga. Ekot publicerar en Svensk väljaropinion ca 1 timme efter vårt samtal då jag sagt att vi inte har med Ipsos. Det är nu Sifo som som sammanställt Svensk väljaropinion. Med andra ord Ekot gav Novus modell till Sifo, kör på som om de äger den, och de måste ha påbörjat det långt innan jag sade att vi inte kan ha med Ipsos. Ekot brukar behöva ha minst ett dygn på sig EFTER att vi gett dom siffrorna för att få ihop sina inslag. Sifo kan utöver det omöjligt hunnit att på på en timme läsa in sig på vår modell och sammanställa alla undersökningar samt leverera resultatet till Ekot som i sin tur gör grafik och reportage på detta. Vad sägs om det? Är det så man bryter ett samarbete som pågått i 8 år? För det är också så att EKOT intygar att det är exakt samma metod, dom har absolut inte ändrat något, och man behåller all historik som om ingenting har hänt.

Nu skriver man också att Novus Opinion har räknat fram den åt Ekot fram till Augusti 2016. För det första heter vi inte Novus opinion. För det andra har INTE Svensk väljaropinion räknats fram för Ekots räkning, för det tredje har Novus tagit fram modellen och använt långt innan Ekot fick första publicering.

Att Ekot kör på som om de äger något de inte ägde, att de ger bort en modell de inte har rätt till mer än för publicering och skriver om historien ja det är tyvärr det som hände…

Så var det med det. Detta skapade också en rätt rejäl förvirring, för vi fortsatte att publicera Novus svensk väljaropinion vilket ledde till en hel del sammanblandning, när det nu helt plötsligt kommit till en ny som inte Novus gjorde, men nästan exakt samma namn.

Sen missade dom nästan alla intervjuer från både Novus och Demoskop i ett halvår, men det är en annan historia, dom rättade efter att jag sa till att dom använde vår metod fel…

Men nu sedan en månad tillbaka publicerar OMNI Novus svensk väljaropinion, den publiceras en gång i månaden och är idag en sammanvägning av Novus, Sifo och Demoskop.

Novus Svensk väljaropinion finns kvar, och är ett varumärke som ägs av Novus baserad på en modell som Novus tagit fram, och så kommer det fortsätta vara. Men som sagt nu får Omni första publicering av den.

Torbjörn Sjöström

VD

Novus

 

Om undersökningar och konsten att beskriva och förklara

8 november, 2017

Jag kämpar hela tiden med bra sätt att förklara vad vi egentligen gör och tänkte göra ett försök till genom att skriva ett inlägg till.

”En undersökning är en metod eller en process för att få kunskap.”

Det gäller alla sorters undersökningar, om det är för att undersöka varför ett plan kraschade, vem som begick brottet, varför försäljningen dalar eller varför ett parti går framåt i opinionen.

Samma är det med våra undersökningar, det handlar inte om att samla in data. Målet är aldrig siffrorna, däremot använder vi ofta siffror som datakälla för att kunna bygga vår förklaring. Siffrorna och graferna är ett presentationsverktyg för att beskriva det man vill visa och ett redskap för att kunna förklara varför det är som det är.

Vi brukar prata om datainsamling och analys, men det blir lite lätt missvisande. Vad tänker ni på när ni hör ordet datainsamling och vad tänker ni på när ni hör ordet analys?

Orden som sådant är kanske inte fel, men de blir lite komplicerade och sterila. Själv tänker jag när jag hör ordet analys på avancerade modeller och komplicerade beräkningar. Och visst sånt gör vi, men inte alltid. Den viktigaste analysen sker i huvudet baserat på tidigare erfarenheter och insamlad kunskap.

Einstein använde bara papper och penna för att förklara gravitationen, ljusets hastighet osv. En makalös analys där det fortfarande krävs enorm databeräkning och datainsamling i tillägg till världens skarpaste forskare för att bevisa att hans teorier är rätt. Och rätt verkar dom ju vara. Men Einsteins analys skedde i hans eget huvud och han förklarade själv hur det hängde ihop. Vi säger inte att vi är några Einsteins, det vore kanske att ta i lite, men det är ett bra exempel för att beskriva att en analys inte behöver vara i en datormodell.

För att beskriva behöver man pålitlig information. Precis som när du vill mäta temperaturen är det en självklar förutsättning att termometern är hel.

Så är det med vår datainsamling. Oavsett vilken metod vi använder, om den är baserad på webbintervjuer, telefonintervjuer, besöksintervjuer, fokusgrupper, on-line forum, djupintervjuer mm. I stort sätt alla moderna beprövade sätt som finns för att samla in information. Oavsett metod så måste informationen vara korrekt och relevant för att kunna beskriva och förklara vad det faktiskt är som händer.

Man kan inte korrekt beskriva hur något ser ut om man inte har korrekt och relevant information.

  • DÄRFÖR är det så noga med pålitlig datainsamling.

Att bara korrekt beskriva är inte nog. Det viktiga är att skapa förståelse för varför det är som det är. Det är förklaringen som är det viktiga.

  • DÄRFÖR är det så viktigt att förklara och folkbilda kring vad som fungerar och vad som inte fungerar.

Förklaring är nog ett bättre ord än analys. Jag tror det leder tanken mer rätt. Ofta krävs det mer en omvärldskoll, erfarenhet och tankearbete än avancerade modeller och formler. För en kunnig undersökare så kommer förklaringen ibland hur lätt som helst. Det kanske inte ens känns som ett arbete, men arbetet består i en lång yrkeserfarenhet. En fallenhet att kunna sortera, filtrera och sammanfatta vad som kan se konstigt ut till en relevant begriplig förklaring. Den kommer in i alla delar, från början när man skall samla in relevant information för att kunna beskriva och förklara. Till slutet då kanske en undersökning för en stor summa pengar sammanfattas med ett par meningar. Oftast pratar man då om insikter, men även det ordet är lätt missvisande. En insikt är förrädisk ur detta perspektiv. En insikt är självklar när den formuleras, nästan alla ser då att den är sann och stämmer. Men vägen fram är krokig, komplicerad, tidskrävande och dyr. En insikt missas ofta för den låter så otroligt självklart när den formuleras. Men den hade sällan kunnat formuleras utan ett gediget arbete och mycket tankeverksamhet att försöka pussla ihop en relevant beskrivning och komma fram till en bra förklaring. Efter det kommer insikten, och det kan bli en kombination av aha upplevelse och antiklimax samtidigt. Men sannolikt hade man aldrig kommit dit utan arbetet. Man hade inte sett skogen för alla träd.

Det är jättesvårt att värdera ackumulerad kunskap och intelligens. Precis som med all yrkesskicklighet ser det otroligt lätt ut. Men det ser lätt ut för att man har arbetat med det länge och är duktig på det. Ett arbete man kanske gjort i 20 år.

”Novus uppgift är att beskriva och förklara saker.”

Rätt gjort är det världens häftigaste jobb. Vi får vara med i alla branscher, vi får hjälpa ledningsgrupper, politiker och samhällsutvecklare att förstå frågorna bättre. Är det så att man förstår något kan man börja förändra det. Däri ligger det stora värdet i det vi gör.

”Vi hjälper våra kunder att förändra sin framtid.”

Coolt va!

Förresten jag är inte alls orolig för AI och digitalisering, tvärtom, det kommer göra att våra tjänster blir mer efterfrågade. Kunskap kommer aldrig bli omodernt. Vi som arbetar med att beskriva och förklara har en otroligt spännande framtid.

Torbjörn Sjöström

VD

Novus

Poll of polls, hur funkar matten?

3 november, 2017

I Ekots poll of polls (inte att föväxla med Novus Svensk väljaropinion, som Ekot publicerade fram till för ett år sedan) kunde man läsa detta:

”Totalt antal intervjuer oktober 2017: 3 596 st”

De institut de säger ingår i sammanvägningen är
Novus, Kantar Sifo, Ipsos och Demoskop

Räknar man antal intervjuer per undersökning så blir det det ca: 4000 + 12000 + 1600 + 1200 = 18 800 intervjuer

Men det står 3596 intervjuer i Ekots sammanvägning. Hur går det till?

Jag ställde frågan på Facebook om någon lyckades räkna ut hur 18800 blir 3596, men ingen kunde räkna ut det, så här kommer facit. Det är några märkliga steg, så jag hoppas jag kan få det pedagogiskt.

Först om vi börjar med Sifos 11 228 intervjuer, (2-12 oktober) så räknar Sifo inte ens själva med 11 228 intervjuer utan de räknar med ca 2197 st. 11 228 intervjuer är ca 1800 telefon och resten webb. Men de dryga 10 000 webb räknar sifo själva till att vara värda 10 % av telefonintervjuerna. Så ca 10 000 webb viktas ned till ca 200 intervjuer… Mao 11 228 intervjuer är i Sifos värld egentligen 2197 intervjuer. Låter mycket och spännande, men samtidigt hur skall man förhålla sig till det när man inte själv räknar dem fullt ut, om 10 000 intervjuer är värda ett par hundra?

Mao Sifos 11 200 = 2196 intervjuer

Ipsos, 1609 intervjuer, 604 telefon och 1005 webb (12 – 22 oktober), deras metodförändring innebar att de tog bort decimalerna och presenterar endast heltal. Så det kan lätt uppfattas som slagigt. en förändring på 0,1 från 7,4 till 7,5 går i deras undersökning från 7 till 8. Man tog bort decimalerna för att få mindre fokus på siffrorna… Blev det inte tvärtom tänker jag?

Utöver det tog de bort felmarginalerna, med andra ord kan man inte uttala sig om förändringarna är säkerställda eller inte. Men antal intervjuer här är det lite oklart hur många som räknas, kolla nedan. Får inte ihop detta nämligen.

Demoskop 1250 intervjuer (24 september – 1 oktober)

Novus 4003 intervjuer (4 september – 1 oktober) på telefon.

Ekot publicerade sin poll of polls den 28 oktober och gäller oktober månad, så kolla fältperioden ovan. Novus och Demoskop hade sista intervjudag 1 oktober. Sifo och Ipsos hade sina intervjuer under oktober.

Sifo 2196 + Ipsos 1609 = 3805

Sen borde man lägga till en dags intervjuer för Novus och Demoskop. Men det blev ändå fler än vad Ekot uppger att det är med… Så det var kanske ett litet räknefel ändå.

Men om man bara räknar Ipsos telefonintervjuer som var 604 st.

2196 + 604 = 2800

lägg sedan till en dag i oktober för Demoskop 156

Sen en dag i oktober för Novus 143

2196 + 604 + 156 + 143  = 3099

Nej blir inte 3596 ändå, saknas nästan 500 intervjuer.

Samtidigt skriver man att de institut som ingår är Novus, Sifo, Demoskop och Ipsos. Men i praktiken en minoritet av Sifos intervjuer, inte alla Ipsos intervjuer och en tiondel av Demoskops och en 28:e del av Novus.

Konstigt va?

Men det är så här det är räknat OM man håller sig till den metod som Novus utvecklat och Ekot publicerat. Är det så att man ändrat något så bör man ta bort vår historik från Ekots hemsida. Eller förresten oavsett så är det ju en ganska stor förändring på flera plan. Delvis är Novus och Demoskop i princip inte är med alls i sammanställningen. Sen att Sifo gjort en metodförändring, Ipsos likaså är en diskussion för sig.

Men är det en vettig sammanställning för Oktober?

Annars kan man titta på Novus Svensk väljaropinion, den gör vi fortfarande trots att Ekot inte publicerar den. Den innehåller lite fler intervjuer, för vi ser till att alla intervjuer en månad är med, men Ipsos är inte med där, en undersökning som tar bort decimalerna och felmarginalerna kan vi faktiskt inte längre ha med.

http://novus.se/valjaropinionen/novus-poll-of-polls/

Uppdatering efter att jag blivit kontaktad av ansvarig för Ekot, de korrigerar med de saknade intervjuerna månaden efter, med andra ord om det saknas hela Novus intervjuer så korrigerar man de tidigare siffrorna som man redan publicerat i efterhand. Det är enligt modellen Novus tagit fram och som Ekot fick första publicering på, men som de nu kör på med utan oss. Fast frågan är då vad händer om det kommer typ lika många intervjuer för föregående månad än som man faktiskt har med… Det är ju fallet här? Jo då borde man inte publicerat alls utan väntat på att alla institut faktiskt publicerat sina undersökningar. Den lilla detaljen missade man i 6 månader…

Torbjörn Sjöström

VD

Novus