Arkiv 2014

Vad som hände med mentometern i TV4as direktsändning

14 september, 2014

Novus levererade en möjlighet för TV4 att kunna presentera reaktionerna på duellen i direksändning med sk mentometer

300 slumpmässigt utvalda svenskar som skulle se på debatten fick varsin personlig länk.

Via länken kunde de ge positivt eller negativt betyg för Fredrik Reinfeldt eller Stefan Löfven

Detta resultat skulle visas ett par gånger i TV4as sändning.

Dock märkte vi att ca 10 minuter in i sändningen att antalet registreringar ökade lavinartat. Resultatet blev väldigt snabbt skevt och orimligt många klick kom in.

Visualiseringen stängdes ned

Och vi kunde konstatera att 3-5 individers länkar stod för en klar majoritet av alla tryck. Den länk som var mest aktiv registrerade 10 klick per sekund. I genomsnitt registrerade de som var med snarare ett klick per minut.

Länkarna var inte låsta på IP nummer, och kunde användas på flera datorer samtidigt, anledningen till det, vilket var vårt misstag, var för att det kan hända att någon tappar kopplingen och inte kan komma in igen då länken är låst.

Men vi har kraftigt missbedömt intresset att påverka denna röstning.

Nu var det så att ett par länkar spreds till väldigt många adresser och resultatet blev kraftigt missvisande då syftet enbart var att sabotera mätningen.

Vi borde ha låst länkarna på IP adress, alternativt enbart en inloggning i taget, det är vår lärdom här. Och väldigt tråkigt att det blev så.

Sen har Expressen skrivit att det var en socialdemokrat. Det stämmer inte, vi vet ingenting om dessa personer mer än några svar i en enkät och vi kommer självklart inte heller att på något sätt gå vidare med detta, anonymiteten hos respondenterna är hörnsteneni det vi gör. Tyvärr gav Expressens artikel sken av att vi hade brutit anonymiteten, vilket absolut inte är fallet. Deras rubrik och det sätt detta målas upp stämmer inte alls överens med hur det var. Expressen har inte fått någon information om respondenterna som gör att de kan dra dessa slutsatser. De tonade ned texten efter min påstötning, men tyvärr kan jag tycka att texten fortfarande ger en missvisande bild.

De som var med på detta gjorde detta frivilligt och anonymt, det är tråkigt att resultatet inte kunde användas till det de var tänkt. och det är en lärdom för oss kring mekanismerna så här nära inpå valet.

Då det var unika länkar så har vi kunnat städa bort dessa svar, men det är TV4 som får publicera resultatet om de vill. Tyvärr blev det inte det viktigaste med detta.

Och tyvärr skrevs stora rubriker utan någon som helst grund.

Torbjörn Sjöström, VD
Novus

Ang Politologernas inlägg om Novus invandringsundersökning

28 augusti, 2014

Politologerna skrev idag ett inlägg om Novus invandringsundersökning som publicerades föregående vecka.

De skrev bland annat detta:

”Nu valde Novus en lite ovanlig inledning på sin fråga som lyder ”Med tanke på de krig och oroligheter som just nu pågår i världen, tycker du att Sverige skall ta emot fler flyktingar, färre flyktingar, eller ungefär samma nivå på antalet flyktingar som idag?”. Tanken var antagligen att sätta in frågan i ett aktuellt sammanhang, eller att betona att det handlar just om asylsökande och inte exempelvis arbetskraftsinvandring eller liknande. Så långt allt väl. Samtidigt kan en sådan inledning knappast sägas vara neutral utan kan mycket väl påverka resultaten genom att den för tankarna till det lidande och de hemskheter som gör att flyktingar söker sig till Sverige”

Frågan var ställd så här:
”Med tanke på de krig och oroligheter som just nu pågår i världen, tycker du att Sverige skall ta emot fler flyktingar, färre flyktingar, eller ungefär samma nivå på antalet flyktingar som idag?”

Den skapade en hel del kritik från invandringskritiska röster, ett av argumentet var att vi satte fokus på mänskligt lidande genom inledningen av frågan, vilket ansågs vara en vinkling av frågan.

Anledningen till varför undersökningen genomfördes var för att se reaktionen på två händelser. Först att Sanna Rayman på SVD belyste Migrationsverkets ökade behov av finansiering pga det faktum att antalet flyktingar som sökte sig till sverige hade ökat markant. Orsaken till detta är så klart bl.a. Syrien, Irak

Den andra anledningen var Fredrik Reinfeldts tal där han ber svenska folket att öppna sina hjärtan pga det ökade flyktingtrycket.

Utifrån dessa två händelser ville jag undersöka svenska folkets reaktion. Vi var inte ute efter att fånga en avhumaniserad syn på flyktingar/invandring, utan vi ville medvetet förstärka anledningen då det i denna kontext var i högsta grad relevant att referera till de oroligheter som ökade andelen asylsökande till Sverige. Vi ville också minimera risken att blanda ihop invandrare och flyktingar, en sammanblandning som sker ofta hos respondenterna.

Syftet var inte att jämföra resultatet med bl.a. SOM eller för den delen Novus egna tidsserier kring svenska folkets syn på invandringsfrågan, utan syftet var att fånga upp de två ovanståend anledningarna.

Vi var också tydliga med undersökningens syfte i rapporten som spreds till massmedia och publicerade på Novus hemsida.

Utifrån detta perspektiv blir Johan Martinssons artikel mycket märklig och olycklig, han noterar att kontexten ev kan vara relevant, men artikeln fortsätter sedan utifrån teorin att det inte är en fråga, trots att just kontexten är det centrala i frågan. Även om det säkert inte var syftet så är det lätt att läsa deras artikel som en kritik mot hela Novus undersökning, och att resultatet inte stämmer överens med svenska folkets åsikter utifrån det aktuella sammanhanget.

Med andra ord så jämför de två saker som faktiskt inte är intressanta i sammanhanget. Och att man väljer att använda detta som ett exempel på vinklade frågor är mycket svårt att förstå, jag kan komma på en lång rad undersökningar som publicerats som skulle passa mycket bättre som exempel, jag har också använt flera exempel själv i mina föreläsningar.

Novus genomför löpande metodstudier, och är mycket väl medvetna om hur svaren kan skilja sig åt baserat på frågeformuleringen. Men att här använda argumentet att man påverkar resultatet genom att ”föra tankarna till det lidande och de hemskheter som gör att flyktingar söker sig till Sverige”

Ja det var meningen, och om man inte förstår det utifrån de anledningar som jag har angett här ovan, ja då vet jag inte hur jag skall kunna förklara det bättre.

En annan sak jag funderar på, om inte ordet flykting är värdeladdat nog, är det inte så att det är pga att respondenten blandar ihop flyktingar och andra former av invandring?

Vilket också bekräftar ytterligare varför inledningen vi medvetet la till behövdes, för att respondenten skulle påminnas om just det, och för att ytterligare minska risken för sammanblandning av flykting och invandrare. För att tydligare fånga upp reaktionerna i rätt sammanhang.

Torbjörn Sjöström, VD
Novus

Länk till politologernas inlägg

Länk till Novus undersökning om inställningen till flyktingar

FRA, EU:s organ för mänskliga rättigheter skapar problem?

5 mars, 2014

Idag presenterar EU:s organ för grundlägande mänskligheter ytterligare en rapport om hur illa det är ställt med dessa inom EU. Rapporten är inte släppt ännu men så här skriver TT:

sk_rmklipp2

Fruktansvärd läsning. I skandinavien är siffrorna ännu högre.

Men en sak reagerar jag baserat, på timingen (3 dagar kvar till internationella kvinnodagen), FRA:s historia att presentera dessa undersökningar tillsammans med en rad i texten:

”Det handlar om allt från att ha blivit knuffad eller ha blivit utsatt för kränkande sexistista skämt…”

Definitionen av väld verkar vara väldigt vid. Byt ut samma undersökning men fråga europas män om de har blivit utsatta för våld, inklusive att ha blivit knuffad?

Viktigt att påpeka, jag försöker inte förminska problemet. MEN när FRA på detta sätt verkar förstora problemet och ger rapporten legitimitet via undersökningar så är det väldigt illa. Våld mot kvinnor (och män för den delen) är en väldigt allvarlig fråga. Men man riskerar som det ser ut här att förstora problemet, inte nog med att det ökar fokus på det, det ger också bilden av att det är så stort att det är olösbart.

Beslut baserade på felaktigt underlag är farligt. Undersökningsbranschen skall stå för en korrekt bild av en fråga. Det är tydligt definierat i våra internationella branschregler och vi måste kunna hålla emot när media, eller i detta fall ännu värre en EU myndighet vill spinna på en undersökning.

Nu har jag som sagt inte läst rapporten då den inte är publicerad ännu. men detta är tredje gången FRA gör så här.

Tidigare genomförde de en undersökning som för mig symboliserar det värsta exempel på en dålig undersökning jag sett.

FRA bestämde sig för att utreda hur förföljda Judar var i europa. En viktig fråga, men också otroligt känslig. Personligen har jag svårt att komma på en fråga som är mycket känsligare i europa än den.

Hur gör man då?

Jo man anlitar IPSOS för att genomföra den. Tillsammans med IPSOS och forskare kommer man fram till att denna målgrupp är väldigt svår att undersöka. Den typen av metoder som är traditionelld vedertagna säger dom inte fungerar. Den judiska gruppen går inte att få tag på i register osv.

Men istället för att då komma fram till att man inte kan göra några volymuppskattningar på denna fråga så annonserar man i ledande dagstidningar på nätet.

Så här såg det ut i Dagens Nyheter:

ipsos_om_antisemitism_banner

”Antisemitism: Ditt tillfälle att säga din mening
Klicka här
En undersökning om antisemitism för EU:s byrå för grundläggande rättigheter utförd av the institute for jewisk policy research och IPSOS Mori.”

Detta väckte min nyfikenhet, en så känslig fråga där man direkt bjuder in till ett självrekryterat utrval. Jag klickade så klart.

Efter ett tag så möttes jag av denna fråga:

2012-09-10_12-12-15_500x273.jpg

Svarade jag nej på den så avslutades undersökningen.
Men det var inga problem att backa i undersökningen igen och svara jag. Vilket jag sedan gjorde.

Enkäten består av ca 100 frågor, där det kretsar kring hur man upplever våld och hot kopplat kring judendomen.

tex denna:

2012-09-10_12-16-00_500x420.jpg

Frågorna som sådant är viktiga och relevanta.

Enkäten avslutas med denna bild som tack:

2012-09-10_12-45-21_497x295.jpg

Mao kommer svaren att vara faktaunderlag för politiker hur man bör bekämpa antisemitism både i Sverige och Europa.

Men fundera nu vad som händer när man lägger upp dessa frågor öppet på internet så att vem som helst kan svara på dessa frågor. Och valfritt antal gånger.

Novus studier visar att självrekryterade paneler ger en överrepresentation av ideologiskt övertygade repsondenter. I detta fall är denna risk helt uppenbar.

Utifrån en självrekryterad undersökning kan man inte dra slutsatser hela populationen.

Hur presenterades denna sedan?
Här är FRA:s hemsida med rapporten

I metodbeskrivningen står det att undersökningen är genomförd genom självrekrytering. Men man låter inte det hejda sig att dra långtgånga slutsatser om alla judar.

Så här ser deras svenska faktablad ut

Det finns friskrivningstexter om att man inte kan dra statistiska slutsatser, men samtidigt slår man på stort om resultatet.

Så här sammanfattar expressen rapporten. Som för övrigt släpptes på dagen till 75 årsminnet av kristallnatten (återigen timingen ör maximalt genomslag):

Minst 50 nyanser av hat från alla riktningar

Antisemitismen i Europa ökar, i åtta EU-kartlagda länder – men den uppträder i olika former: från höger, från vänster, från extremislamister.

http://www.expressen.se/kvp/kultur/minst-50-nyanser-av-hat-fran-alla-riktningar/

Och världen idag skriver så här:

Var femte jude i Europa döljer sin identitet av rädsla

22 procent av europeiska judar visar inte sin judiska identitet av rädsla för antisemitism. Särskilt i Sverige är rädslan stor för att bära kippa. En majoritet av judarna inom EU anser också att antisemitismen ökat de senaste åren. Det visar en stor EU-undersökning som presenteras i november.

http://www.varldenidag.se/nyhet/2013/10/16/Var-femte-jude-i-Europa-doljer-sin-identitet-av-radsla/

Första gången jag tog upp detta exempel var på en sluten konferens för opinionsundersökare.

Då var inte undersökningen publicerad. De som lyssnade kom bla från Ipsos, Ordföranden för branchorganisationen (SMIF) och min kritik var väldigt mild.

Jag visade vår studie kring självrekryterade paneler och sedan visade jag hur denna undersökning från IPSOS såg ut och frågade om någon där visste hur man kunde dra slutsatser om hela populationen i en så pass allvarlig fråga. Det var ingen som svarade, och jag lät det vara.

Presentationen var väldigt uppskattad och ingen riktade där någon kritik mot det jag sa.

Däremot dagen efter så kände sig Ipsos VD (som inte var där) nödgad att i ett mail kraftigt kritisera att jag använde skärmdumpar från en undersökning osm ligger publikt på nätet. Enligt henne var det ett brott mot branschorganisationens stadgar, som säger att man inte ”obefogat får kritisera andra undersökningsföretag”. I detta fall är kritiken befogad, sakligt och jag håller mig enbart till det som publiceras och hur undersökningen sedan tas emot.

Hon kände sig också nödgad att gå ut med denna publika text

Till saken hör att min presentation som jag sedan valde att lägga upp publikt, för att inte uppfattas som en bråkstake, hade jag tagit bort just bilderna om IPSOS FRA undersökning. Något som hon antingen valde att ignorera eller inte ens reflektera över. Så hon har aldrig sett vad jag presenterade och seminariet gick inte att ta del av i efterhan…

Men i korthet säger hon att det inte går att göra en statistiskt säkerställd undersökning. Vilket de också är öppna med i rapporten.

Men jag ställer mig ändå starkt frågande till varför man genomför en undersökning som inte går att genomföra påitligt, som har som syfte att visa på utsträckningen av ett problem. Men där metoden helt klart inte är tillräcklig.

Att EU med öppna ögon genomför denna typ av undersökningar, och inte bara en gång utan som det verkar gång på gång är riktigt allvarligt.

Det är minst lika allvarligt att etablerade undersökningsföretag går med på att genomföra undersökningar och då ge legitimitet åt studien, kring ett så pass känsligt ämne där de, redan från start vet att de inte kan genomföra en undersökning som ger svar på omfattningen av det man vill undersöka.

Som undersökningsföretag är vårt förtroende avhängigt att man litar på det vi gör. Vi måste våga säga nej om det inte är möjligt att genomföra en trovärdig undersökning. Det är vår skyldighet att inte tillåta för vida tolkningar utöver det som går att utläsa av undersökningen.

Slutligen jag försöker inte förminska problemen eller marginalisera något. Våld mot kvinnor precis som antisemitismen är otroligt allvarliga frågor.

Det skall behandlas med det allvar de förtjänar. Jag anser tyvärr inte att varken inblandade undersökningsföretag eller FRA verkar ha den intentionen.

Det gör mig riktigt upprörd.

Jag förutser också att jag kommer att få en lång rad arga mail pga detta, både från IPSOS som kommer att anse att detta är en smutskastning, men antgligen från mäniskor som trots detta tycker att jag marginaliserar viktiga frågor.

Så är inte fallet. Men det är viktigt att vi försöker lösa problem utifrån en korrekt världsbild. Där kommer seriösa undersökningar in, vi hjälper till att skapa perspektiv på frågor. Hur stort ett problem är är avgörande för hur man löser det.

Jag har inget emot IPSOS eller något annat undersökningsföretag som sådant. Men jag verkar vara en av få inom den svenska undersöknignsbranschen som vågar lyfta upp direkta felaktigheter.

Ofta försöker man avfärda min kritik som smutskastning, men obekväma sanningar är väl inte smutskastning?

Om någon är intresserad har jag all korrespondens och alla frågor kring Ipsos undersökning.

Och trots att det blev väldigt långt så har jag väldigt mycket mer att säga om detta. Men det får räcka för stunden.

Minnesfel och väljarbarometrar

19 februari, 2014

Henrik Oscarsson, professor på SOM har undersökt hur många som minns vad man röstade på i föregående val och hans forskning visar att ca 25% av väljarna inte minns vad de röstade på i föregående val.

Det stämmer och Novus studier visar att det finns en lång rad minnesfel. En intressant kuriosa vi såg 2012 var just minnesfelet hos Sverigedemokraterna, bland denna grupp var det fler som sa sig röstat på SD än som faktiskt gjorde det.

Men en sak måste jag kommentera, som blir lite kortfattat beskrivet i SVT:s inslag, och även i övriga kanaler där Henrik Oscarsson beskriver detta problem:

Påverkar opinionsundersökningar

”Den politiska glömskan är inte bara en lustig iakttagelse. Den kan till ställa till problem och göra opinionsundersökningar mindre tillförlitliga.

– När man beräknar hur många som röstar på olika partier tar man hänsyn till hur de röstat föregående val. Om man då kommer ihåg fel blir beräkningarna felaktiga, säger Johan Lyhagen professor i statistik.”

Ja, det stämmer att framförallt opinionsinstitutens väljarbarometrar använder vilket parti man röstade på i föregående val som ett sätt att öka på noggrannheten i väljarbarometrar. Man lägger in partisympati i föregående val som en parameter i en s.k. viktmatris. Denna används för att kompensera för ev skevheter i urvalet, baserat på kända demografiska data. Tex ålder, kön, geografi, men också i väljarbarometern partival föregående val.

Men det som inte framkommer i artiklarna är att inverkan av denna viktmatris beror på hur undersökningen genomförs.

Novus genomför alla undersökningar på ett slumpmässigt urval som alla på ett eller annat sätt att baserat på den svenska befolkningspopulationen.

Ett slumpmässigt urval kommer i sin helhet att just på grund av slumpen efterlikna hela populationen, men det kan bli mindre skillnader. Tex lite för få män i förhållande till kvinnor. Men slumpen har en fantastisk förmåga att jämna ut urvalet i förhållande till populationen.

Då urvalet tack vare slumpen redan per automatik kommer att vara representativt utifrån demografiska parametrar så kommer viktmatrisen att påverka väldigt lite, men det gör att undersökningen blir ännu lite mer exakt.

Så Henrik Oscarssons studie om minnesfel kring partival har en teoretisk påverkan på exaktheten vid Novus väljarbarometrar, men den praktiska inverkan är mycket liten då partivalets inverkan på vår viktmatris är liten.

Men det finns en ännu viktigare aspekt här, och det är att en undersökning som inte är baserad på ett slumpmässigt urval av svenska folket, utan istället består av en självrekryterad panel.

Där har viktmatrisen en mycket större inverkan. För utan slumpens utjämnande funktion så behöver urvalet kompenseras på mycket fler parametrar än grundläggande fakta som ålder och kön. Bl.a. partival 2010 blir helt avgörande för att kunna presentera en väljarbarometer som över huvud taget kommer någorlunda nära svenska folkets åsikter.

Däremot finns det också tecken som tyder på att man på institut som använder självrekryterade paneler också använder SCB:s partisympatimätning och även Novus Poll of polls som en parameter i sin viktmatris. Med andra ord används bl.a. Novus väljarbarometer som ingångsvärde i vissa av våra konkurrenters väljarbarometrar för att nå ett till synes tillförlitligt resultat.

Men fundera då på vad minnesfelet kan ha för påverkan, samt om det inte skulle finnas pålitliga undersökningar som använder riktiga slumpmässiga urval från populationen…

Men det är väldigt intressant att följa minnesfel, och tidens påverkan i exakthet i svaren.

Precis som man måste veta hur man skall ställa korrekta frågor för att få relevanta svar, så måste man också följa hur minnet förändras utifrån påverkan och tiden. Novus studerar detta löpande, och vi gör väldigt mycket för att säkerställa att våra undersökningar blir facit.

Även om det inte är tanken att vi skall vara facit för vissa branschkollegors mer tvivelaktiga undersökningar baserade på självrekryterade paneler.

Länk till SVT inslag