Vilka är egentligen telefonundersökningar? Kommentar tre på SOM chefens inlägg
Inlägg nummer tre om SOM chefens blogginlägg som var så konstigt. Jag var tvungen att börja i ifrågasättandet av Novus som var så uppenbart att det inte gick att ignorera, men det stannar inte där då konstigheterna i blogginlägget var så många.
Vill du läsa de tidigare så finns de här_
Inlägg ett: Vad håller SOM chefen på med?
Inlägg två: Tror man att det inte är på riktigt?
I detta inlägg tar jag nog upp den största generella frågan.
Blogginlägget på politologerna skrivet av Göteborgs Universitets chef för SOM institutet ställde frågan:
“Hur mår egentligen telefonundersökningarna i Sverige?”
Det hade kunnat vara en relevant fråga, men det blir snabbt konstigt när han fokuserar på svarsfrekvensen och att Novus har så hög siffra jämfört med Ipsos (som har så låg ur svenska mått mätt att jag blev tvungen att blogga om det när jag såg den). Vår nivå är densamma som SCB och tydligen även SOM själva. Novus nivå är absolut inte extremt hög utan snarare vad man kan förvänta sig i Sverige.
MEN, jag skall försöka släppa det påhoppet nu och om titta på frågan:
Hur mår telefonundersökningarna i Sverige?
Vilket Johan tydligen tycker är viktigt, men först måste vi börja med att fråga oss:
Vilka undersökningar är egentligen telefonundersökningar?
Lättast att ta stryka är de som uppenbart inte är det: Yougov, Sentio, Inizio, de arbetar med enbart web urval och kör på en självrekryterad panel. (Orsaken till varför man inte kan ange någon träffsäkerhet i undersökningarna. Man vet inte hur rätt eller fel de är.) De är absolut inte telefonundersökningar.
Sen har vi de Johan listar “Sifo” (som egentligen heter Kantar Sifo, och snart bara Kantar), Demoskop, Ipsos och Novus. Jag tar dom en efter en:
Kantar Sifo:
Det finns faktiskt ingen metodredovisning alls på deras hemsida vad jag kan se. Men vi vet sedan tidigare att de har två olika urval. Ett telefon, och ett web (slumpmässigt rekryterat). För ca ett år sedan hade de ca 1800 intervjuer på telefon och ca 9000 på web. De räknade däremot då om web till att vara värda en tiondel av telefonintervjuerna. Basen för felmarginaler blev då ca 2200 intervjuer. Alltså dessa ca 11 000 intervjuer räknade Kantar Sifo själva som ca 2000 st. Fördelningen står ingenstans i deras rapport, det står inte ens vilken typ av datainsamling de gör alls faktiskt. Men det är klart att de återigen har ändrat något. Nu står det nämligen att de gör 8000 intervjuer, men att basen för felmarginaler är 3800 (mao dessa 8000 intervjuer räknar Kantar Sifo själv att vara 3800 st…). Jag skulle bli jätteförvånad om de av dessa 8000 innehåller mer än max 2000 telefonintervjuer. Alltså ca 25 % telefonintervjuer?
Är ca 25% av intervjuerna via telefon en telefonundersökning?
Det enda vi vet just nu är faktiskt att Kantar Sifo är den hemligaste av alla etablerade just nu.
Demoskop:
Demoskop har två olika urval, här vet vi hur fördelningen ser ut. Det står i deras rapport: 1600 intervjuer, varav 1000 är telefon och 600 är web. Web är via vad de kallar socioekonomiskt representativt urval av hemsidor. I praktiken verkar det betyda att besökare till olika undersökningar får en popup där man får frågan om man vill vara med i panelen. Ett danskt datainsamlingsföretag gör jobbet åt dem vad jag förstår. Demoskop säger att det inte är självrekrytering. Det kan jag typ hålla med om. Men det är inte ett slumpmässigt urval utifrån svenska folket, utan ett slumpmässigt urval utifrån besökare på lite olika hemsidor. Där slumpen också styrs av antal enheter och frekvensen man besöker hemsidan. Det går alltså som individ att påverka slumpen om man nu vill. Alltså även om det inte är självrekryterat är det inte vad man menar med slumpmässigt urval av Svenska folket, och det är egentligen det dom räknas när man vill kunna uppge vilken nivå av säkerhet undersökningen har, alltså räkna på signifikanser och felmarginaler.
Är drygt 60 % telefon och knappt 40 % web med två olika urval en telefonundersökning?
Ipsos:
Även Ipsos har två olika urval, de har också en tydlig metodredovisning på fördelningen. 500 på telefon och 1000 på web. Telefon samlas in via deras egna call center. Web samlas in via ett datainsamlingsföretag vad jag fått höra, och är slumpmässigt rekryterat. Man använder inte Ipsos egna panel då den tydligen är självrekryterad. När de seadn räknar är telefonintervjuerna värda dubbelt så mycket som web-intervjuerna på hela resultatet. Så 500 telefon är lika mycket värda som 1000 webintervjuer antar jag. Men det blir inte inte fler telefonintervjuer än 500 för det.
Är drygt 30 % telefon och knappt 70 % webpanel med två olika urval en telefonundersökning?
Jag ser också när jag gick igenom metoderna att Ipsos bortfallsredovisning på telefondelen förändrats markant. Är man insatt i utmaningarna får man inte många ledtrådar alls. Kanske värt att påminna om att jag inte efterfråga bortfallsredovisning. Men Johan gör det helt klart, han borde reagerat på förändringarna om han faktiskt tittat på det ordentligt och känner till vilka utmaningarna är med telefonundersökningar, man iofs vi kanske är få i Sverige som gör det, och det är nog inget man lär sig på SOM. Feb 2019 redovisas Ipsos bortfall som två delar av totalt 3341 i nettourvalet: “Bortfall” 700 och “okänd status” 2304. Alltså det finns två bortfall, ett som heter bortfall och ett som heter okänd status. och sedan är det 501 svarande.
I augusti 2018 var det 879 svarande, “bortfallet totalt” 5813, varav “ej anträffbar” 5010, “Förhindrad medverkan” 31, “avböjde medverkan” 803. 74% av alla sökta i augusti 2018 svarade helt enkelt inte i telefon alls hos Ipsos, det är många. 2019 så hade 69 % okänd status. Det går inte att jämföra redovisningen. Jag kan inte låta bli att undra över dessa stora skillnader även i samma undersökningsföretags rapporter.
Men som sagt bortfallsredovisning är inte viktigt i mina ögon, men om man skriver en lång text om bortfallet i “telefonundersökningarna” så borde det väl vara det?
Den riktiga utmaningen med Ipsos är att det inte går att räkna på några felmarginaler där heller. Samt att de viktar på GAL-TAN (hur går det ens till? Det finns inget GAL-TAN facit) Jag har mailat en direkt fråga om det men inte fått svar till förre ansvarig på Ipsos. Jag har inte tjatat om det för i praktiken ser jag inte denna mix av urval som en lösning på framtidens utmaningar för oss undersökningsföretag.
Novus:
Novus har ett individurval baserat på befolkningsregistret (det är vi ensamma om idag tyvärr, och det är egentligen en grundförutsättning för riktiga statistiska undersökningar). 86 % är telefonnummersatt från SPAR registret. Mellan 3000 och 5000 intervjuer per månad (vi har haft fler under valår och lite färre mellan val). Den absoluta majoriteten är via telefon. men får vi inte tag på personen via telefon (röstsamtal) efter ett antal försök (vi genomför ca 80-85 % av intervjuerna via röstsamtal) och det är ett mobilnummer så får man ett SMS (ca 15 – 20% av intervjuerna genomförs via SMS) där man kan svara den vägen. Har man inget telefonnummer kan man få ett vykort, omfattningen av det varierar från månad till månad.
Att genomföra nästan alla intervjuer via telefon (röst), en del via SMS, som kanske också är telefon (eller inte?) och några via vykort, anser jag man kan säga är en telefonundersökning. Det är faktiskt bara Novus som jag kan anse av de kommersiella aktörerna som genomför telefonundersökningar för väljarbarometern.
Sen kanske det är läge att återigen säga att väljarbarometern är speciell. Det finns fortfarande grupper man inte når via nätet och den förväntade träffsäkerheten är extrem. Därför som vi genomför denna på telefon. Säkert 90 % av alla andra undersökningar vi genomför är via web och Novus egen slumpmässigt rekryterade panel. Det betyder inte att det är sämre, men vi väljer metod utifrån syftet med undersökningen. Precis som man bör göra.
Sen nämner Johan också SCB, de har ungefär samma upplägg som Novus men en liten annan twist på det, men de har ett urval, majoriteten via telefon och en del via SMS. Är Novus en telefonundersökning tycker jag man kan säga att SCB är det. Men Johan hade bara SCB med för att, vad jag kan förstå att ge en siffra på svarsfrekvenser.
Slutligen nämner Johan också SOM undersökningen. Den skickas ut via postala enkäter, och en del via web. Men vad jag vet absolut inget via telefon. Är det en telefonundersökning?
Sammanfattningsvis, frågan är väl egentligen inte hur stor andel som svarar på telefon, utan vill man titta på telefonundersökningarna så blir ju första frågan vilka är ens telefonundersökningar?
Som jag ser det så måste det vara ett urval, och en klar majoritet av intervjuerna måste vara på telefon. Då är det faktiskt bara SCB och Novus som platsar. Sen är inte frågan om datainsamlingsmetod relevant. Det vore viktigare att titta på hur urvalet ser ut. Två urval blir stökigt och slirigt även om det är slumpmässiga urval.
Men nu valde Johan frågan “hur mår telefonundersökningarna”, då blir ju svaret för de som gör telefonundersökningar mår de bra. MEN det är egentligen bara Novus som är det företag som ens gör det….
Sen vet vi att bortfallet inte är rimligt att titta på. Och absolut inte att jämföra med USAs nivåer.
Men skulle man titta på telefondelen bara, så kan man ju fråga sig hur relevant det är att titta på t.ex 30 % av Ipsos undersökning, eller 25 % av Sifos, eller 60 % av demoskops och fokusera på svarsfrekvensen där. Särskilt som inte ens Sifo eller Demoskop redovisar några siffror. Jag tycker det är jättemärkligt.
Slutligen liten kommentar ang deltagarfrekvens.
Johan förstod sig inte på ordet deltagarfrekvens och han hade aldrig hört talas om det. Missade han att Ipsos också använder termen deltagarfrekvens i sin metodbeskrivning? Utöver ordet svarsfrekvens. Båda finns där.
Sen är tipset att kolla på AAPORS definition av completion rate, det är typ engelska ordet för deltagarfrekvens. Pga den röriga värld som statistiker älskar att skapa har vi valt att använda samma term på web och telefon. Då är ordet deltagarfrekvens det mest konsekventa att använda. Som alla ser är det rörigt ändå. Men det får väl blir ett fjärde blogginlägg om deltagarfrekvens och svarsfrekvens (om jag orkar, jag tycker själv att jag är sjukt tjatig, trodde inte ens jag skulle behöva skriva dessa inlägg, men sen kom politologernas konstiga text och så var det dags…)
Ja det var dagens text om politologernas märkliga blogginlägg.
Torbjörn Sjöström
VD
Novus