Är det hela havet stormar hos undersökarna?

De senaste veckorna har vi fått höra att SD är typ lika stora som S, att det sker en total omvändning kring väljaropinionen. Sedan kommer Novus/SVT idag och visar något helt annat!?! Vad i hela friden är det som händer?

  • Är det en ny skam-effekt?
  • Mörkar man?
  • Svarar ingen i telefon? Det måste vara bortfallet!?

Ja jag kan bara tänka mig vad det muttras om på lite olika hörn på internet.

Jag har tidigare lyft problemet med speciallösningar för väljarbarometern, och nu behöver jag göra det igen. Idag har vi en situation där det bara är Novus som har en metod som är så nära forskningen man kan komma i Sverige. Novus väljer varje månad ut knappt 8000 slumpmässigt utvalda svenskar som sedan kontaktas via telefon och via SMS, en del får faktiskt också ett vykort med en inbjudan. Ungefär hälften svarar, så vi har ca 4000 genomförda intervjuer i vår väljarbarometer som ger svar på vad man skulle rösta på om det vore val idag. Vi har ingen övre åldersgräns, och alla röstberättigade i Sverige har en chans att bli utvalda och svara på Novus väljarbarometer.

Det finns i det offentligarrummet en extremt hög tilltro till träffsäkerheten på väljarbarometern, om ett parti får 15 % i en undersökning, så upplevs en förändring till 16% eller 14,5 % en stor förändring. Alla förhåller sig till exakta siffror, och något annat går inte heller att förhålla sig till om man inte är extremt insatt. Novus undersökningar är faktiskt väldigt stabila. Det är sällan det sker en större förändring vi inte kan förklara. Men det är viktigt för Novus och även för vår kund SVT att det är stabila och tillförlitliga resultat. Resultat baserad på den kunskap och vetenskap som finns.

Vi genomför ca 1000 intervjuer per vecka under fyra veckor i mellanvalsperioden. Att undersökningen genomförs under fyra veckor har flera anledningar:

För det första skapar det en stabilitet, både utifrån det faktum att skandaler inte har så stor påverkan på resultatet om det handlar som frågor som snabbt blåser över. Kortlivade förändringar dämpas.

Väljarna är mer lättrörliga mellan valen då man inte är så insatt i politiken av naturliga själ. Tro det eller ej, alla är inte så intresserade av politik. Man har röstat och lämnat över sitt mandat till politikerna att genomföra det. Något för politikerna att visa mer, men det är en annan historia.

En kort fältperiod mellan valen kan innebära större svängningar pga något som hänt tex med en partiledare eller minister. Ett hopp i kurvan som sedan oftast snabbt klingar av när frågan får lite perspektiv, om den inte klingar av fångar vi upp den. Men kortlivade reaktioner är inte önskvärda att fånga i en undersökning som skall representera en månad och ge ett tidsperspektiv i frågan. Därför har vi i regel fyra veckors undersökningsperiod (fältperiod). Om det inte är under valrörelsen, då är det kortare.

En lång fältperiod blir heller inte lika känsligt för ev. intervjuareffekter. En intervjuare är en människa som alla andra och han eller hon kan ha en dålig dag. Om fältperioden är kort och antalet intervjuer är färre samtidigt som en intervjuare har en dålig dag så får detta ett stort genomslag. Det är i regel inte ett problem i andra undersökningar, men då den förväntade träffsäkerheten här är på decimalen så kan det slå hårt.

Det finns ett facit för hur man gör bra undersökningar som i sin tur blir facit för en fråga. Detta facit följer Novus så långt det går, men då det faktiskt är slumpen vi utgår från (slumpmässiga urval) så säkerställer vi också att det skall bli så bra som möjligt varje gång, och i alla undersökningar. Därför har vi också samma metod för väljarbarometern som för andra undersökningar. Det är faktiskt viktigt att metoderna är likvärdiga på dessa punkter. Väljarbarometern får inte vara en omotiverad specialare genom att mixa urval eller speciella databearbetningar.

Vi genomför fortfarande väljarbarometern primärt via telefon för att alla grupper ännu inte är på nätet. Det finns äldre grupper du inte når på nätet. De har ingen smartphone osv.

Med det inte sagt att man måste genomföra undersökningar på telefon alltid, vi väljer den datainsamlinsmetod som är bäst för ändamålet. Men alla är baserade på ett slumpmässig urval, och bara ett urval. Men väljarbarometern speciel då man reagerar på enstaka procents förändring och man måste nå alla väljargrupper vilket idag bara fungerar via ett individurval och det är telefonnummer det finns register på, 87% av alla svenskar har ett registrerat nummer och varannan vi söker får vi tag på. Sedan är väljarbarometen metodmässigt ingen specialare på andra sätt, mer än att den är vårt flaggskepp, få andra undersökningar är så ekonomiskt kostsamma. Inte per undersökning, men denna görs minst 11 månader om året. Det är en stor investering från Novus sida, självklart vill både vi och SVT att den skall vara best practice. Skulle vi snåla på denna så är det som att värma sig med ljummet vatten i byxorna på vintern…

SCB är inte långt borta heller metodmässigt, de har ett urval, men de har faktiskt en rullande panel som gör att det blir lite mer komplicerat. Jämfört med Novus undersökning som har ett helt nytt urval varje gång. De har alltså inte ett helt slumpmässigt urval för varje undersökning. Utan ca en tredjedel är ny, resten har svarat en eller två gånger innan.

Men sedan börjar det bli riktigt bekymmersamt i mina ögon. De andra aktörerna i Sverige har idag speciallösningar för väljarbarometern. Man använder specialalgoritmer, specialpaneler och eller multipla urval. Man går allt mer över till webbaserat i en majoritet av intervjuerna.

Köper man som kund en undersökning av dem är det man får i regel väsensskilt från metoden som används i väljarbarometern. Väljarbarometern blir mer och mer intrimmad för att BARA fungera för att fånga väljaropinionen. Den enda drivande faktorn jag ser för detta är att spara pengar. Det är den internationella trenden kring denna typ av undersökningar. Man anser inte att mak har råd att göra enligt boken.

Själv undrar jag hur man anser att man inte har råd att avvika från best practice på den mest profilerade produkt man har. Då skapas ju en misstro kring alla undersökningar man gör. Man underminerar tilltron till sin egen roll och position som leverantör av tillförlitliga undersökningar.

Mao deras väljarbarometrar är inte något som säger något om de andra undersökningar som genomförs av samma leverantör.

Men utöver det är det problematiskt med specialalgoritmer även på väljarbarometern, väljarna ändrar sig ofta nu, det som var sant i valet är inte sant nu. Specialmodeller som fungerade då fungerar kanske inte nu. Det finns många exempel på detta, men detta inlägg är långt nog redan nu.

Det är även så att trots att en panel slumpmässigt rekryterad får du även där en liten överrepresentation av aktivister. Inte alls i närheten av den omfattning som finns i en självrekryterad. Där är det en total katastrof att hantera. Men även i slumpmässiga paneler finns det små skevheter. Om då andelen som svarar är låg kommer man inom panelvärlden att få en överrepresentation av människor som inte är åsiktsmässigt representativa för hela svenska folket.

Alltså svarsfrekvensen, eller deltagarfrekvensen som vi benämner det i paneler är en viktig aspekt för oss som undersökningsföretag att hålla koll på. Den är inte alls så viktig när man genomför undersökningar direkt mot ett slumpmässigt befolkningsurval, det visar studie på studie. Däremot en panel med en låg deltagarfrekvens kan vara problematisk. En låg deltagsrfrekven där innebära sannolikt många och långa undersökningar som tröttar ut ”ickeaktivister” snabbare än andra och man skapar en åsiktsskevhet.

I Novus panel svarar man därför i genomsnitt på under en undersökning i månaden och genomsnittlig längd på intervjun är drygt 5 minuter. Därför har vi en deltagsrfrekvens på den på ca 60%. Den används dock ändå inte i väljarbarometern pga faktiskt inte alla är på nätet ännu.

Har vi då undersökningsföretag som har en majoritet av svaren som genomförs på en webpanel med lägre deltagarfrekvens kan den delen skapa en slagsida som gör resultatet ickerepresentativt och missvisande kring hur väljarna tänker idag.

Det är också så att gör man en del på web via panel och en del på telefon, så har man helt plötsligt två urval, något som inte forskningen tillåter. Då kan man teoretiskt fråga samma person två gånger i samma undersökning. Det är också tveksamt om man kan säga att man gjort en undersökning, eller om man gjort en sammanvägning.

Det är också svårt att säga att man har några felmarginaler och inte heller säga att man har några statistiskt säkerställda förändringar. Det man presenterar är då ett resultat som man inte kan säga om det är en säker förändring jämfört med föregående.

Har man utöver det kortare fältperiod så blir man mer sårbar för yttre påverkan som bara kortsiktigt påverkar.

Nedan har jag lagt upp alla väljarbarometrar från Kantar (Sifo), Ipsos, Demoskop och Novus. Av dessa är det bara Novus som har ett urval, de andra har två som blandas på ett eller annat sätt. Demoskop och Ipsos säger (oftast) att de inte har några säkerställda förändringar, vilket de inte heller kan ange pga deras egenbyggda metoder som avviker från den metod vi och forskningen vet fungerar. Kantar (Sifo) anger fortfarande felmarginaler och signifikanta förändringar trots att de bryter mot urvalskravet. Jag ställer mig väldigt tvivlande till att de kan referera till denna typ av säkerhetsmått. Men de kanske vet något jag inte vet.

Men alla dessa tre har nu en majoritet av intervjuerna på webpanel, och en minoritet på telefon. Novus har ett urval och primärt telefon.

Men trots det så är det i stora drag ungefär desamma trender om man tar ett steg tillbaka. Däremot är Ipsos ganska hoppigt. De har nämligen en annan utmaning, med förevändningen att ha mindre fokus på siffror och förändringar så tog de bort decimalen. Men i praktiken ledde det till ett ännu större fokus på förändringar. En förändring på 0,1 kan leda till en förändring på en hel procent. 11,4 till 11,5 blir på Ipsosspråk: 11 till 12. Vilket jag tror syns i graferna. Det har också varit flera gånger när jag tittade på det som de fick en summa som blev mer än 100 och behovet av manuell avrundning på hela procent behövs…

Demoskop är också lite speciellt, idag verkar de ha flera olika paneler. På rena webundersökningar säger de att de har Demoskops slumpmässigt rekryterade panel, i väljarbarometern har de vad de kallar en socioekonomiskt representativ panel (om jag minns rätt) det jag vet är att det är Userneeds panel. Sedan slutligen har de också köpt Inizio och deras självrekryterade panel. För mig är det ett mysterium varför man har olika paneler mot allmänheten när behovet skall vara detsamma.

Skall man göra en webundersökning kan man bara lita på en välskött slumpmässigt rekryterad panel, där deltagarfrekvensen är hög.

Ja nu orkar nog ingen läsa längre än så här. Det är mycket svårt att skriva om detta kort.

Hursomhelst Novus prioritet är att ta fram pålitliga undersökningar som baseras på den kunskap och vetenskap som finns. Resultatet skall vara rättvisande oavsett vilken undersökning man köper av oss, och väljarbarometern är inget undantag från de andra.

Det är ingen skameffekt, det är inte bortfallet, ingenting mörkas. Däremot gör Novus allt man kan för att ta fram stabila och pålitliga undersökningar oavsett syftet med dem.

Sedan finns det felmarginaler och osäkerhetsnivåer i alla undersökningar. Men idag ser vi inte alls att SD är nära S. Däremot är SD sveriges näst största parti, en liten fördel jämfört med M, dock är skillnaden mellan dessa två inom felmarginalen (vilket vi tack vare våra metoder faktiskt kan säga).

Men det är faktiskt också så att bara Novus idag uppfyller alla önskemål som SVT och SR ställer på undersökningar. Jag är uppriktigt ledsen över att så är fallet. I en sund branch borde alla kunna uppfylla dessa grundläggande krav.

Snålar man på kunskap blir man dumsnål.

 

Torbjörn Sjöström

VD (och undersökningsnörden m.m.)

Jag vill ha Novus nyhetsbrev, min e-post är