Arkiv 2019

Vilka är egentligen telefonundersökningar? Kommentar tre på SOM chefens inlägg

2 april, 2019

Inlägg nummer tre om SOM chefens blogginlägg som var så konstigt. Jag var tvungen att börja i ifrågasättandet av Novus som var så uppenbart att det inte gick att ignorera, men det stannar inte där då konstigheterna i blogginlägget var så många.

Vill du läsa de tidigare så finns de här_

Inlägg ett: Vad håller SOM chefen på med?

Inlägg två: Tror man att det inte är på riktigt?

I detta inlägg tar jag nog upp den största generella frågan.

Blogginlägget på politologerna skrivet av Göteborgs Universitets chef för SOM institutet ställde frågan:

”Hur mår egentligen telefonundersökningarna i Sverige?”

Det hade kunnat vara en relevant fråga, men det blir snabbt konstigt när han fokuserar på svarsfrekvensen och att Novus har så hög siffra jämfört med Ipsos (som har så låg ur svenska mått mätt att jag blev tvungen att blogga om det när jag såg den). Vår nivå är densamma som SCB och tydligen även SOM själva. Novus nivå är absolut inte extremt hög utan snarare vad man kan förvänta sig i Sverige.

MEN, jag skall försöka släppa det påhoppet nu och om titta på frågan:

Hur mår telefonundersökningarna i Sverige?

Vilket Johan tydligen tycker är viktigt, men först måste vi börja med att fråga oss:

Vilka undersökningar är egentligen telefonundersökningar?

Lättast att ta stryka är de som uppenbart inte är det: Yougov, Sentio, Inizio, de arbetar med enbart web urval och kör på en självrekryterad panel. (Orsaken till varför man inte kan ange någon träffsäkerhet i undersökningarna. Man vet inte hur rätt eller fel de är.) De är absolut inte telefonundersökningar.

Sen har vi de Johan listar ”Sifo” (som egentligen heter Kantar Sifo, och snart bara Kantar), Demoskop, Ipsos och Novus. Jag tar dom en efter en:

Kantar Sifo

Det finns faktiskt ingen metodredovisning alls på deras hemsida vad jag kan se. Men vi vet sedan tidigare att de har två olika urval. Ett telefon, och ett web (slumpmässigt rekryterat). För ca ett år sedan hade de ca 1800 intervjuer på telefon och ca 9000 på web. De räknade däremot då om web till att vara värda en tiondel av telefonintervjuerna. Basen för felmarginaler blev då ca 2200 intervjuer. Alltså dessa ca 11 000 intervjuer räknade Kantar Sifo själva som ca 2000 st. Fördelningen står ingenstans i deras rapport, det står inte ens vilken typ av datainsamling de gör alls faktiskt. Men det är klart att de återigen har ändrat något. Nu står det nämligen att de gör 8000 intervjuer, men att basen för felmarginaler är 3800 (mao dessa 8000 intervjuer räknar Kantar Sifo själv att vara 3800 st…). Jag skulle bli jätteförvånad om de av dessa 8000 innehåller mer än max 2000 telefonintervjuer. Alltså ca 25 % telefonintervjuer?

Är ca 25% av intervjuerna via telefon en telefonundersökning? 

Det enda vi vet just nu är faktiskt att Kantar Sifo är den hemligaste av alla etablerade just nu.

Demoskop:

Demoskop har två olika urval, här vet vi hur fördelningen ser ut. Det står i deras rapport: 1600 intervjuer, varav 1000 är telefon och 600 är web. Web är via vad de kallar socioekonomiskt representativt urval av hemsidor. I praktiken verkar det betyda att besökare till olika undersökningar får en popup där man får frågan om man vill vara med i panelen. Ett danskt datainsamlingsföretag gör jobbet åt dem vad jag förstår. Demoskop säger att det inte är självrekrytering. Det kan jag typ hålla med om. Men det är inte ett slumpmässigt urval utifrån svenska folket, utan ett slumpmässigt urval utifrån besökare på lite olika hemsidor. Där slumpen också styrs av antal enheter och frekvensen man besöker hemsidan. Det går alltså som individ att påverka slumpen om man nu vill. Alltså även om det inte är självrekryterat är det inte vad man menar med slumpmässigt urval av Svenska folket, och det är egentligen det dom räknas när man vill kunna uppge vilken nivå av säkerhet undersökningen har, alltså räkna på signifikanser och felmarginaler.

Är drygt 60 % telefon och knappt 40 % web med två olika urval en telefonundersökning?

Ipsos:

Även Ipsos har två olika urval, de har också en tydlig metodredovisning på fördelningen. 500 på telefon och 1000 på web. Telefon samlas in via deras egna call center. Web samlas in via ett datainsamlingsföretag vad jag fått höra, och är slumpmässigt rekryterat. Man använder inte Ipsos egna panel då den tydligen är självrekryterad. När de seadn räknar är telefonintervjuerna värda dubbelt så mycket som web-intervjuerna på hela resultatet. Så 500 telefon är lika mycket värda som 1000 webintervjuer antar jag. Men det blir inte inte fler telefonintervjuer än 500 för det.

Är drygt 30 % telefon och knappt 70 % webpanel med två olika urval en telefonundersökning?

Jag ser också när jag gick igenom metoderna att Ipsos bortfallsredovisning på telefondelen förändrats markant. Är man insatt i utmaningarna får man inte många ledtrådar alls. Kanske värt att påminna om att jag inte efterfråga bortfallsredovisning. Men Johan gör det helt klart, han borde reagerat på förändringarna om han faktiskt tittat på det ordentligt och känner till vilka utmaningarna är med telefonundersökningar, man iofs vi kanske är få i Sverige som gör det, och det är nog inget man lär sig på SOM. Feb 2019 redovisas Ipsos bortfall som två delar av totalt 3341 i nettourvalet: ”Bortfall” 700 och ”okänd status” 2304. Alltså det finns två bortfall, ett som heter bortfall och ett som heter okänd status. och sedan är det 501 svarande.

I augusti 2018 var det 879 svarande, ”bortfallet totalt” 5813, varav ”ej anträffbar” 5010, ”Förhindrad medverkan” 31, ”avböjde medverkan” 803. 74% av alla sökta i augusti 2018 svarade helt enkelt inte i telefon alls hos Ipsos, det är många. 2019 så hade 69 % okänd status. Det går inte att jämföra redovisningen. Jag kan inte låta bli att undra över dessa stora skillnader även i samma undersökningsföretags rapporter.

Men som sagt bortfallsredovisning är inte viktigt i mina ögon, men om man skriver en lång text om bortfallet i ”telefonundersökningarna” så borde det väl vara det?

Den riktiga utmaningen med Ipsos är att det inte går att räkna på några felmarginaler där heller. Samt att de viktar på GAL-TAN (hur går det ens till? Det finns inget GAL-TAN facit) Jag har mailat en direkt fråga om det men inte fått svar till förre ansvarig på Ipsos. Jag har inte tjatat om det för i praktiken ser jag inte denna mix av urval som en lösning på framtidens utmaningar för oss undersökningsföretag.

Novus:

Novus har ett individurval baserat på befolkningsregistret (det är vi ensamma om idag tyvärr, och det är egentligen en grundförutsättning för riktiga statistiska undersökningar). 86 % är telefonnummersatt från SPAR registret. Mellan 3000 och 5000 intervjuer per månad (vi har haft fler under valår och lite färre mellan val). Den absoluta majoriteten är via telefon. men får vi inte tag på personen via telefon (röstsamtal) efter ett antal försök (vi genomför ca 80-85 % av intervjuerna via röstsamtal)  och det är ett mobilnummer så får man ett SMS (ca 15 – 20% av intervjuerna genomförs via SMS) där man kan svara den vägen. Har man inget telefonnummer kan man få ett vykort, omfattningen av det varierar från månad till månad.

Att genomföra nästan alla intervjuer via telefon (röst), en del via SMS, som kanske också är telefon (eller inte?) och några via vykort, anser jag man kan säga är en telefonundersökning. Det är faktiskt bara Novus som jag kan anse av de kommersiella aktörerna som genomför telefonundersökningar för väljarbarometern.

Sen kanske det är läge att återigen säga att väljarbarometern är speciell. Det finns fortfarande grupper man inte når via nätet och den förväntade träffsäkerheten är extrem. Därför som vi genomför denna på telefon. Säkert 90 % av alla andra undersökningar vi genomför är via web och Novus egen slumpmässigt rekryterade panel. Det betyder inte att det är sämre, men vi väljer metod utifrån syftet med undersökningen. Precis som man bör göra.

Sen nämner Johan också SCB, de har ungefär samma upplägg som Novus men en liten annan twist på det, men de har ett urval, majoriteten via telefon och en del via SMS. Är Novus en telefonundersökning tycker jag man kan säga att SCB är det. Men Johan hade bara SCB med för att, vad jag kan förstå att ge en siffra på svarsfrekvenser.

Slutligen nämner Johan också SOM undersökningen. Den skickas ut via postala enkäter, och en del via web. Men vad jag vet absolut inget via telefon. Är det en telefonundersökning?

Sammanfattningsvis, frågan är väl egentligen inte hur stor andel som svarar på telefon, utan vill man titta på telefonundersökningarna så blir ju första frågan vilka är ens telefonundersökningar?

Som jag ser det så måste det vara ett urval, och en klar majoritet av intervjuerna måste vara på telefon. Då är det faktiskt bara SCB och Novus som platsar. Sen är inte frågan om datainsamlingsmetod relevant. Det vore viktigare att titta på hur urvalet ser ut. Två urval blir stökigt och slirigt även om det är slumpmässiga urval.

Men nu valde Johan frågan ”hur mår telefonundersökningarna”, då blir ju svaret för de som gör telefonundersökningar mår de bra. MEN det är egentligen bara Novus som är det företag som ens gör det….

Sen vet vi att bortfallet inte är rimligt att titta på. Och absolut inte att jämföra med USAs nivåer.

Men skulle man titta på telefondelen bara, så kan man ju fråga sig hur relevant det är att titta på t.ex 30 % av Ipsos undersökning, eller 25 % av Sifos, eller 60 % av demoskops och fokusera på svarsfrekvensen där. Särskilt som inte ens Sifo eller Demoskop redovisar några siffror. Jag tycker det är jättemärkligt.

Slutligen liten kommentar ang deltagarfrekvens.

Johan förstod sig inte på ordet deltagarfrekvens och han hade aldrig hört talas om det. Missade han att Ipsos också använder termen deltagarfrekvens i sin metodbeskrivning? Utöver ordet svarsfrekvens. Båda finns där.

Sen är tipset att kolla på AAPORS definition av completion rate, det är typ engelska ordet för deltagarfrekvens. Pga den röriga värld som statistiker älskar att skapa har vi valt att använda samma term på web och telefon. Då är ordet deltagarfrekvens det mest konsekventa att använda. Som alla ser är det rörigt ändå. Men det får väl blir ett fjärde blogginlägg om deltagarfrekvens och svarsfrekvens (om jag orkar, jag tycker själv att jag är sjukt tjatig, trodde inte ens jag skulle behöva skriva dessa inlägg, men sen kom politologernas konstiga text och så var det dags…)

Ja det var dagens text om politologernas märkliga blogginlägg.

Torbjörn Sjöström

VD

Novus

Kan utseendet på en fråga med ett öppet svarsalternativ påverka frågans resultat?

29 mars, 2019

Kan utseendet på en fråga med ett öppet svarsalternativ påverka frågans resultat?

Novus verkar i en förtroendebransch där det är av största vikt att resultaten är korrekta och användbara.

Det här inlägget handlar dock inte om varför man ska använda slumpmässigt rekryterade paneler eller varför man inte ska använda självrekryterade paneler där felmarginal inte kan beräknas. Inte heller handlar det om vikten av att inte ställa ledande frågor eller vad som händer med kvaliteten i svaren vid för långa undersökningar.

Allt detta är självklarheter för Novus, även om vi tyvärr behöver tjata om sånt som är självklarheter lite väl ofta.

Istället handlar inlägget om de utmaningar som finns när det gäller undersökningars layout. Detta är något som vi i allt större utsträckning lägger vikt vid, bl.a. eftersom fler och fler besvarar undersökningar i sin mobiltelefon.

Kan utseendet på en fråga med ett öppet svarsalternativ påverka frågans resultat?

Vi testade fyra olika scenarion i Novus Sverigepanel där samma fråga ställdes, men där utseendet på frågan varierades. Vi ställde frågan ”Vet du vad företaget gör?”, till de respondenter som uppgav att de kände till ett särskilt företag.

Utfallet skilde sig åt väsentligt mellan dessa fyra scenarion.

Scenario 1 (stort öppet svarsfält, stor nej-knapp):

50% svarade ”Nej”

Scenario 2 (litet öppet svarsfält, stor nej-knapp):

40% svarade ”Nej”

Scenario 3 (litet öppet svarsfält, liten nej-knapp):

10% svarade ”Nej”

Scenario 4 (litet öppet svarsfält, ingen nej-knapp):

5% svarade ”Nej”

Hur ska dessa resultat tolkas?

Andelen som svarar på mobiltelefon ökar för varje år. Det är jobbigare att skriva in ett öppet svar på mobil än på dator, vilket leder till att fler och fler väljer den ”enkla” vägen och använder den stora knappen (om den finns) för att skriva in sitt svar i fritextrutan.

En stor fritextruta som i scenario 1 ger inte fler öppna svar än en mindre fritextruta som i scenario 2 utan tvärtom. Tröskeln blir istället ännu högre vid en större ruta eftersom respondenten tolkar detta som att de måste skriva in mer fritext.

Om man ändå vill ge möjligheten för respondenterna att klicka ”Nej” ska man använda en liten fritextruta samt en liten ”radioknapp”.

Ändra heller aldrig i layouten på en öppen eller halvöppen fråga om du ska göra jämförelser med tidigare resultat. Detta eftersom resultaten då inte blir jämförbara.

Avslutningsvis undrar säkert någon hur stor andel som besvarar Novus undersökningar via mobilen. Numera är det över hälften som besvarar Novus allmänhetsundersökningar i mobilen men det varierar förstås mellan olika målgrupper. Mer om detta kommer du kunna läsa i ett inlägg som kommer i en nära framtid.

Mikael Ohlsson / Kvalitetsansvarig på Novus

 

Tror man att det inte är på riktigt? Gäller inte bara SOM chefen

29 mars, 2019

En text om hur bl.a. SOM chefen inte verkar förstå att det han gör är på riktigt. Tydligen blev det inte på riktigt för honom innan jag mailade hans chef. Ett mail som var en direkt reaktion på hans ifrågasättande blogginlägg, droppen för oss. Han kanske kan trösta sig med att han inte är ensam, utan kanske snarare normaltillståndet i det offentliga rummet. Men för mig och Novus är det en oroväckande tanke att så många inte verkar förstå sin makt. Att många inte förstår att de dom skriver faktiskt är på riktigt på påverkar.

Tror att det inte är på riktigt?

Den frågan har snurrat i mitt huvud i olika versioner rätt länge nu. Flera år faktiskt.

För jag begriper inte vissa samhällsförändringar och ansvarigas beteende kring detsamma. De frågor som blir stora, varför de blir det och hur de sedan hanteras.

Jag har tänkt så länge kring mycket journalistik, för jag vet samtidigt att man mäts på att producera text och innehåll samt spridning. ”Så här många tecken har jag skrivit”. Uppdraget går ofta ut på att man skall fylla en lucka i en publicering. Jag tänker att det lätt kan bli så att det bara är ord som måste fram. Tonen skruvas upp för att skapa lite nerv i det och få lite fler delningar.

Samtidigt påverkar dessa historier marknader, människor och beteenden varje gång. Hur det berättas påverkar, den makt en redaktion har är enorm. Något som stolt lyfts upp när någon får sparken, tex redaktion X har visat att man kan göra skillnad! (Än är det liv i den skröpliga redaktionskroppen, dom trodde man inte kunde räkna med oss längre nu visade vi dom minsann). Jag hör ofta redaktioner och journalister som säger att de inte har någon makt längre. Det är inte bara ett snack och falsk blygsamhet, utan de tror verkligen att makten är borta. De får nämligen höra det hela tiden. Facebook är grejen, Google dödar oss osv. INGEN tittar på TV längre (det är inte sant och det är inte ens relevant egentligen).

Samma sak gäller politiken i det offentliga rummet. Tonen är hård, dock ofta om frågor som faktiskt inte är de viktigaste. Konflikten är viktigare än frågan. Målet är att visa skillnaden mellan alternativen, inte vad man vill uppnå. Är politiken på viktig? Förstår man att man har makten och förväntan på sig att göra bra saker? Politik är inte ett maktspel. Makten är så klart viktig för att få igenom ”sin” politik. Men makten är inte målet, den är ju bara ett medel.

Att politiker har makt i en representativ demokrati är ju självklart. Men jag är inte säker på att det bottnar i politikens vardag och styr sättet man framställer politiken.

Sedan har vi forskningen, anledningen till varför jag skriver detta idag. Chefen för Göteborgs Universitets SOM institut skrev ett blogginlägg som fick många på bl.a. Novus att undra vad i hela friden han höll på med.

Artikeln heter ”Hur mår egentligen telefonundersökningarna i Sverige?”. Men jag undrade snarare hur SOM chefen mår egentligen. Min första reaktion finns här: https://novus.se/blogginlagg/vad-haller-som-chefen-pa-med/

Det Johan, som han heter, gör är att titta lite på bortfallet i telefonundersökningar. Han ignorerar att två av fyra inte alls redovisar det. Han fokuserar på de två som har en redovisning. Ipsos ligger på vad vi anser väldigt låga 10-11% (jag bloggade om det när det blev känt här: https://novus.se/blogginlagg/jag-hade-fel-vi-maste-prata-om-bortfallet/), samt Novus som ligger på ca 50 %.

Novus har samma nivå som SCB och SOM enligt texten. Vi har alltså tre seriösa aktörer som redovisar siffror som är OK, (Novus, SCB och SOM). Ipsos som har låga siffror Svenska mått mätt, och vi har två som inte redovisar något alls. Kantar (Sifo) och Demoskop. Vilka slutsatser kan man dra av vilket bortfall som är rimligt i Sverige? Sedan kommer ett exempel om hur SOM lyckas hitta nummer till en viss andel. Konstigt nog markant lägre än SPAR registret. Slutsatsen blev inte att SOM inte klarar av det SPAR är proffs på. Ja, skulle man bemöta alla konstigheter i texten…

Men artikeln är direkt ifrågasättande till våra siffror. Ett tag (innan jag märkte och sa ifrån) gav artikeln också skenet kring att vi och SVT vägrat svara på frågor, frågor vi eller SVT aldrig fått.

(Johan verkar heller inte känna till AAPORs definitioner kring svarsfrekvenser. Men det får bli en annan artikel.)

Alltså valet av ifrågasättande var häpnadsväckande för oss som kämpar varje dag för att göra bra undersökningar. Nu insinueras att vi ljuger och vägrar svara på frågor vi aldrig fått. Inte från vem som helst utan från chefen på anrika SOM institutet.

Detta var så allvarligt, jag har försökt att prata med Johan i 6 år, han har varit chef för SOM ca 1 år, men han har uttalat sig om metoder så länge jag har känt till honom. Dock varje gång problematiserat/ifrågasatt enkla saker och ignorerat de riktiga problemen i det offentliga som jag sett det. Jag har varje gång kämpat med att förstå varför. För det är helt obegripligt för mig.

Blogginlägget från Johan var droppen. Jag kan inte nå fram och förstå varför, jag mailade därför rektorn för Göteborgs universitet och frågade vad Johan håller på med. Skriver man i den rollen och ifrågasätter ett företag måste man ha på fötterna. Man kan inte misstänkliggöra oss så.

Johan ansåg att mitt mail till rektorn var extremt allvarligt. Det var enligt honom allvarliga anklagelser jag riktade mot honom. Alltså när jag reagerade på ett blogginlägg som misstänkliggjorde Novus…

Då insåg jag. Förstod han inte att misstänkliggörande av Novus var något som hade riktiga konsekvenser? Trodde han hans inlägg bara var ett inlägg som inte kan påverka något? Trots att jag tjatat på honom och andra statsvetare och statistiker om vikten att försvara de vetenskapliga metoder de själva är helt beroende av. Är det så att dom inte tror att det dom gör är på riktigt, och det därför inte är så noga vad man skriver eller gör?

Men tänker man på det forskningen går ut på att bli publicerad. Producera en massa text. Inser inte forskaren sin makt, och vikten i sitt arbete?

Var det verkligen först när hans chef frågade vad som hände som det blev på riktigt för honom?

En missvisande misstänkliggörande text är i högsta grad på riktigt. Jag förstår det och måste agera på vad som skrivs, den har en reell påverkan i verkliga livet.

Texten på politologerna var riktigt illa, den riskerade att ha en direkt inverkan på förtroendet för Novus om den inte bemöttes. För vilka är insatta nog att se att jämförelserna var felaktiga, att texten som helhet är irrelevant utifrån hur undersökningssverige ser ut. Att fel frågor sattes i centrum och de viktiga frågorna ignorerades. Nej man nöjer sig nog med att det ser avancerat ut och att SOM chefen vet vad han gör…

Om man har makt och inte tar det på allvar skapar det oftast stora effekter på omgivningen. Tänk er en elefant i en porslinsfabrik. Det händer i många delar i det offentliga rummet nu tyvärr…

Men vi på Novus vet att våra undersökningar är representationer av verkligheten, och att publiceringar av dessa är på riktigt, och kan definitivt ha en påverkan. Det är inte på låtsas.

Tyvärr borde alla med makt inse det. Det behöver inte vara tråkigt för att det är på riktigt. Men det viktigaste är att man förstår att det man gör är på riktigt och ens handlande påverkar sin omgivning.

Torbjörn Sjöström

VD

Novus

Förresten kunde inte låta bli att inte göra denna bild, vad säger ni? Vilken nivå är rimlig att förvänta sig? 40-50 % eller runt 10 % i en pålitlig undersökning utifrån de siffror som olika aktörer presenterar.

Hur kan Johan få för sig utifrån den data han har i sin artikel, alltså den jag gjorde en tabell på ovan, att 11 % är rimligt och att 49 % förtjänar ett utropstecken och att det skulle vara i ett annat universum?

Varning för gör det själv plattformar

6 mars, 2019

Jag skulle egentligen bloggat om detta igår, men SOM chefens märkliga inlägg med rubriken ”Hur mår egentligen telefonundersökningarna i Sverige?” tvingade mig att skriva inlägget som jag borde rubriksatt till: ”Hur mår egentligen SOM chefen?”

Så detta inlägg fick komma idag istället.

Jag har nu inom loppet av några veckor själv blivit inbjuden till undersökningar från Netigate och Survey monkey. Två stora kända bolag, som ju de flesta som jobbar med undersökningar känner till.

Så långt inga problem, det händer lite då och då, ett företag gör sin egen enkät och använder dessa verktyg. En del har kompetensen inom företaget, även om de flesta inte har det.

Men dessa två var speciella. Det första var ett mail från ”min stora dag”

 

Min stora dag vill man ju stödja och Survey monkey är ju ett känt företag, men det var något konstigt med frågorna. Man frågade om investeringsbehov kring IT tjänster och en massa andra helt orelaterade saker utifrån Min stora dag. Förresten såg inte loggan lite gammal ut? Jag frågade Min stora dag, självklart stod de inte bakom detta.

Det som sannolikt låg bakom detta var något leadsgenereringsföretag som missbrukar Min stora dag och legitimiteten hos ett enkätverktyg.

Med andra ord när man svarat på den kommer man att bli dränkt i säljsamtal från företag som vill sälja kopiatorer, vattenmaskiner, kaffemaskiner osv.

Det är varken en undersökning och man har garanterat inte någon som helst anonymitet. Utöver det uppenbara brottet mot att missbruka en seriös organisation.

Det var första exemplet, och det grövsta då avsändaren var falsk. Men det andra är nästan lika illa faktiskt.

Netigare är ju välkända, de är inte bara en plattform utan också ett undersökningsföretag. MEN de är inte med i någon branschorganisation, tex ESOMAR vad jag kan se. Vilket är viktigt att veta.

För även detta är någon form av leadsgenerering. Svarar man på undersökningen som kommer från Netigates adress kommer dina personuppgifter sannolikt att användas för försäljning av bolaget Leadser. Integritetspolicyn har också en konstig skrivning om anonymitet: ”I de fall undersökningen är anonym”. Man kan alltså få undersökningar från Netigate som antingen är anonyma eller icke anonyma… Det står inget i denna undersökning om anonymitet. Bara en länk till denna integritetspolicy från Netigate.

Enligt företaget Leadsers hemsida kan man också utläsa att de säljer skarpa leads, men dessa samlas in maskerat som en undersökning? Kommer man att bli kontaktad i säljsyfte efteråt?

Tillbaka till branschorganisationen ESOMAR som Novus är med i. Respondentens anonymitet helig. INGA kunder till ett undersökningsföretag skall få individuella svar. Man skall aldrig kunna identifiera en person utifrån resultatet. Ingen skall bli kontaktad baserat på vad man svarat i en undersökning. Inget sälj får ske över huvud taget.

Det är därför undersökningar inte omfattas av NIX registret, vi ger aldrig ifrån oss någon information som kan kopplas till en individ till våra kunder, man kan aldrig heller bli kontaktad i säljsyfte pga vad man svarat i en undersökning från Novus.

”Spärren i NIX-Telefon gäller inte samtal som rör marknadsundersökningar, samhällsinformation… Därför kan du få den sortens samtal även om du spärrat ditt nummer hos NIX-Telefon.”

Att undersökningsplattformarna inte är så noga med anonymiteten var en nyhet för mig. Jag trodde inte att vem som helst kunde anlita dessa verktyg och sedan få svaren kopplade till individer,  att de som svarat på en ”undersökning” sedan får en massa säljsamtal, att kontaktuppgifter verkar säljas vidare som skarpa leads till sannolikt ovetande företag.

Dessa falska undersökningar är mycket illa. Tron på anonymitet riskerar att missbrukas. Särskilt när det är välkända företag som Netigate och Survey monkey som är avsändare. De ger nog en falsk trygghet.

Detta riskerar i sin tur att skapa en misstro mot alla undersökningar och även de seriösa företag som använder dessa plattformar.

Ett seriöst undersökningsföretag är beroende av förtroende hos respondenten och kunden. Ett undersökningsföretag garanterar respondentens anonymitet för alla.

Dessa avarter som kallar sig undersökningar får inte missbruka detta. Plattformarna borde inte tillåta det. Det känns oansvarigt att låna ut sitt varumärke till något som absolut inte är seriösa undersökningar.

Så en generell varning till de som svarar på gör det själv enkäter:

Du kan inte lita på integriteten och anonymiteten hos gör det själv verktygen.

Och en varning till kunder:

Ditt varumärke kan ta stryk av den misstron kring den bristande anonymiteten. Var försiktig med gör det själv verktygen. Även om du sköter dig kanske någon annan inte gör det. Ni kommer ha samma avsändande företag: Undersökningsverktyget

Novus bryter aldrig denna anonymitet, den är helig för alla seriösa undersökningsföretag, en hörnsten i ESOMARs regler.

Torbjörn Sjöström

VD

Novus

p.s.

Förresten vi anlitar inte heller leadsgenereringsföretag, så vi är inte med och finansierar denna typ av falska undersökningar. Även om det inte är orsaken till varför vi alltid säger nej till de som vill sälja leadsgenerering. Undersökningar kan inte säljas av någon mötesbokare. Så känns det bra att veta att vi inte omedvetet sponsrat något som faktiskt skadar förtroendet för vår verksamhet.

d.s.

Vad håller SOM chefen på med?

5 mars, 2019

Johan Martinsson nuvarande chef på SOM institutet på Göteborgs universitet (efterträdare till erkänt duktiga forskare som Sören Holmberg och Henrik Oskarsson)…

Johan har jag tyvärr behövt bemöta många gånger, oklart varför. För det jag gjort från dag ett jag tillträdde som VD är att försvara de vetenskapliga metoder som finns. Alltså samma metoder SOM använder. Trots det har Johan gång på gång snarare ifrågasatt Novus och det vi gör. När han intervjuats har han aldrig lyckats visa att det finns vetenskapliga metoder som bevisligen fungerar, utan snarare placera alla undersökningar i samma hink som de självrekryterade ovetenskapliga.

Det har varit så sedan jag första gången kom i kontakt med Johan för en 6-7 år sedan. Jag har aldrig kunnat förstå varför, det går ju emot hans egen forskning och roll. Jag har gång påpekat för honom och andra på SOM att det är viktigt att man försvarar de metoder som finns. För om inte forskningen försvarar sina egna metoder tappar man inte bara förtroendet för Novus (vilket verkar vara ett av målen för Johans texter, jag kan inte hitta några andra logiska förklaringar och jag har verkligen försökt hitta förmildrande omständigheter, men det är för systematiskt och ensidigt) utan även för den egna verksamheten.

Idag såg jag då en text på Politologerna som var långt över gränsen.

Där man börjar i USA och deras låga svarsfrekvens. Ja att den är låg där vet vi. Det finns många förklaringar, tex finns det inget nationellt mobilregister. Ringer man ett mobilnummer måste mottagaren betala för det, mao du kan bli stämd om mottagaren anser att man slösar med din tid… Osv osv. Sådant som Johan BORDE veta.

Sedan säger han att träffsäkerheten i USA är omtvistad, då kan jag ju undra vem han lyssnar på i USA. För trots den låga svarsfrekvensen i USA fungerar det fortfarande extremt bra om man har riktiga metoder. Det fungerar t.om. bättre nu än tidigare. FÖRUTSATT att man har slumpmässiga urval och det är allmänhetsundersökningar, men det är dessa som texten handlar om.

”Det är dock omtvistat hur mycket det egentligen betyder för kvaliten på undersökningarna. En del studier pekar på att träffsäkerheten i resultaten ofta kan vara god trots de låga svarsfrekvenserna (se tex Groves 2006 eller Pew 2016). Även om kvaliten kanske är fortsatt acceptabel uppstår förstås flera praktiska och ekonomiska problem med så uppseendeväckande låga svarsfrekvenser.”

Johan späder därmed på myten om bortfallet. Bara tanken att SOMs chef skall jobba med mytbildning…

USA och Sverige kan inte jämföras i samma text. Problemen och utmaningarna i USA är milsvid större än i Sverige. Att ens antyda att de är jämförbara som Johan gör är direkt missvisande.

Sedan går han vidare till Sverige där han tittar på Novus, Ipsos, Demoskop och Sifo

Sifo betas av fort, de redovisar ingen svarsfrekvens, så var det med det, sen går han vidare.

”Däremot tillhandahåller Demoskop en föredömligt detaljerad metodinformation om hur deras väljarbarometer genomförs på sin webbplats, men inte någon specifik svarsfrekvens för en viss undersökning.”

Demoskop har en föredömlig rapportering enligt Johan, trots att de inte alls rapporterar svarsfrekvensen.

Sen kommer vi till de två som redovisar svarsfrekvenser:

”Ipsos och Novus däremot rapporterar båda tydligt och föredömligt svarsfrekvenser för sina väljarbarometrar. Det som däremot förvånar är att deras redovisade svarsfrekvenser skiljer sig häpnadsväckande mycket åt. Ipsos rapporterar exempelvis i deras väljarbarometer veckan före valet 2018 en svarsfrekvens i sin telefonundersökning på 11%, medan Novus i sin undersökning genomförd under i stort sett samma tidsperiod anger 49%! Ipsos siffror ligger alltså något högre än de amerikanske svarsfrekvenserna, men ändå i ungefär samma härad. Novus angivna svarsfrekvenser befinner sig dock i ett annat universum.”

För det första att tro att Svenska undersökningar bör ligga i ”samma härad” som USA är helt obegripligt, förstår inte Johan skillnaderna bättre än så?

Att säga att Novus är i ett annat universum med den inledningen kan jag inte tolka som beröm utan ett direkt ifrågasättande av det vi gör. Trots att Johan vet och längre ned i texten skriver att SCB har en svarsfrekvens på 50 %. Novus och SCB använder liknande metoder. Självklart borde vi ligga på samma nivå.

Det Johan BORDE ifrågasatt om han verkligen ville förstå är hur Ipsos kan ha så låg svarsfrekvens. Samt varför Sifo och Demoskop inte redovisar något alls…

Men istället väljer Johan att fortsätta att misstänkliggöra Novus:

”Det finns dock några skillnader i hur de beskriver sina svarsfrekvenser. Novus använder för det första begreppet ”deltagarfrekvens” istället för svarfrekvens, och dessutom med tillägget ”i sökt urval”. Novus rapporterar inte mer i detalj vad dessa tillägg egentligen betyder och hur beräkningen är gjord. Jag är själv inte bekant med begreppet ”sökt urval” inom statistikområdet och har därför frågat några statistiker om de känner till begreppet, men utan framgång. Jag har tidigare frågat SVT som redovisar Novus väljarbarometrar vad det betyder, men varken de eller Novus har besvarat frågan.”

Till saken är att Johan inte har frågat Novus, jag har inget minne av någon fråga. Jag hittar inga mail om detta, och det är jag som borde fått frågan på Novus. Det har inte heller kommit in några frågor om detta till vår info mail, eller till produktionsansvarig. Jag har kollat och frågat dom.

Nu har Johan jag tagit bort den delen från sin text. Nu har han tydligen inte längre frågat SVT och Novus, nu står det så här:

”Novus rapporterar inte mer i detalj vad dessa tillägg egentligen betyder och hur beräkningen är gjord. Jag är själv inte bekant med begreppet ”sökt urval” inom statistikområdet och har därför frågat några statistiker om de känner till begreppet, men utan framgång.”

Men hur länge låg osanningen uppe, det finns inga rättelser eller ursäkter, utan han tog bara bort det när jag sa att det inte stämmer. Nu har han inte frågat SVT och Novus längre… Varför det ifrågasättandet från början? Har han ens pratat med någon alls? Eller sitter han och hittar på allt?

Om vi nu kommer in på frågor.

Varför frågade inte Johan SIFO och Demoskop om deras svarsfrekvenser?

Varför frågade inte Johan Ipsos om deras extremt låga svarsfrekvens?

Varför verkar Johan ha hakat upp sig på att när han kan ifrågasätta Novus, trots att det är vi som har den metod som troligtvis ligger närmast den beprövade vetenskapen som finns idag?

Sen är det faktiskt så att svarsfrekvensen inte alls är det centrala, det absolut viktigaste är urvalet. Något som Johan gång på gång missat att försvara. Självrekryterade urval är oändligt mycket sämre än ett stort bortfall på ett slumpmässigt urval. Det är inte omtvistat, utan gång på gång bevisat.

Men trots det lyckas Johan chef för SOM fokusera på att ifrågasätta Novus. Varför? För vi är för bra? För att vi tar det vi gör på allvar? Är det bara den ”fina” forskning som skall göra det? Andra forskare använder oss regelbundet för att vi tar undersökningar på allvar, för att vi ser till att göra så rätt man kan.

Jag kan inte tolka detta som annat än att Johan om och om drivas av någon personlig vendetta där man gett sig tusan på att sabotera för Novus, det har pågått i år, känts som en fix idé att ifrågasätta Novus. Han verkar inte ens förstå att det han gör är att ifrågasätta SOMs egna metoder, det han själv är beroende av att alla litar på. Genom att ifrågasätta de vetenskapliga metoder Novus använder ifrågasätter han även sin egen institution.

Inlägget idag var droppen. Att det sedan i smyg redigerats efter att jag tagit upp direkta fel… Jag sparade som tur vad ned hela texten innan, för jag hade det konstigt nog på känn att texten skulle ändras.

Jag skulle kunna gå in på hans telefonnummersättningsexempel också, det är också missvisande i denna kontext, misstänkliggör faktiskt det alla seriösa undersökningsföretag inkl SCB håller på med, men det får bli en annan gång.

Torbjörn Sjöström

VD

Novus

p.s.

Väljarbarometrarna i Sverige fungerade otroligt bra, det är ett hyfsat tecken på att riktiga metoder fungerar i Sverige. Däremot om man ville nörda ned sig i något kring dem så är det faktiskt detta: Om hur metoderna spretar allt mer

För de metodbeskrivningar som Johan ansåg vara föredömliga saknade nämligen inte bara svarsfrekvens, eller extremt låg sådan, de blandar metoder på ett sätt som omöjliggör felmarginaler. En har urval som måste klassas som självrekryterade en annan viktar på GAL-TAN (HUR man gör det är ett mysterium för mig, där jag faktiskt mailat och frågat men inte fått något svar)

Idag är det tyvärr bara Novus och Sifo som ens kan ange en felmarginal. DET borde vara en viktig fråga. Även frågan med olika urval i samma undersökning som tyvärr alla utom Novus nu har…

Nej istället så misstänkliggör man Novus med en utläggning i en text om något som inte ens är den viktigaste frågan kring undersökningars träffsäkerhet… Tvärtom spär man på myten om bortfallet återigen på kuppen.

d.s.