Med slumpmässigt urval är inte svarsfrekvens/deltagarfrekvens avgörande. Det är dock viktigt att ha koll på eventuella metodskillnader.

När vi analyserar resultaten leder de olika metoderna till samma slutsatser trots den stora skillnaden i deltagarfrekvenser som var 64% i Novus Sverigepanel jämfört med 9% i SMS undersökningen.

Vi ser heller ingen skillnad i top- respektive bottombox-resultaten vid 5-gradiga skalor även om deltagarna i SMS- och telefonundersökningarna tar ut svängarna lite mer.

CATI-gruppen svarar i högre grad att de inte kan ta ställning till vissa frågor, vilka skulle kunna anses vara av känsligare natur, till exempel vilka de skulle rösta på om det var val idag. Detta är sannolikt en intervjuareffekt då exempelvis partisympati skulle kunna tänkas vara en fråga som upplevs känslig.

Resultat

Det finns vissa svarsmässiga skillnader mellan de olika insamlingsmetoderna, även om de på det stora hela leder fram till samma slutsatser när resultaten analyseras.

Utifrån denna jämförelse tenderar Novus panelmedlemmar att inte ta ut svängarna lika mycket som övriga metoder. Vi ser dock ingen skillnad i top- respektive bottombox-resultaten (när de två ytterkants-alternativen slås ihop till ett sammanvägt mått), vilket är vad Novus som standard använder som analys-underlag och de slutgiltiga resultaten uppvisar således inga signifikanta skillnader. CATI-respondenterna anger överlag oftare än övriga metoder att de inte kan ta ställning till vissa frågor, vilka skulle kunna anses vara av känsligare natur. Detta innebär att undersökningens natur samt hur den är tänkt att analyseras är värt att beakta för varje givet projekt.

Observera att alla dessa tre metoder är baserade på slumpmässiga urval, vilket till stor del förklarar resultaten. Detta trots de stora skillnaderna i deltagarfrekvenser.

Novus kommer framöver att fortsätta sin forskning på detta område – både i flera insamlingsomgångar och med andra frågor där vare sig skillnader i kunskap eller intervjuareffekter torde vara avgörande för eventuella differenser. ”Stay tuned” för ytterligare analyser!

Jämförelse Novus panel och SMS

På åsiktsfrågorna, dvs hur man skulle rösta, frågan om Sveriges utveckling samt Nato-frågan, kan inga signifikanta skillnader mellan Novus panel och SMS-urvalet uppvisas.

Vad gäller kännedomen om MSB tenderar SMS-gruppen att i högre grad ange ytterkants-alternativen på svarsskalan. Detta kommer vi undersöka vidare. Ingen signifikant skillnad finns dock för topbox-alternativet, dvs där högsta och näst högsta värdet slås ihop. Detsamma ser vi när vi jämför Novus panel och CATI.

Förtroendet för MSB uppvisar inga signifikanta skillnader för extrem-alternativen, även om SMS-gruppen i något högre grad anger såväl svarsalternativ 5 (mycket högt förtroende) som svarsalternativ 1 (mycket lågt förtroende).

När det gäller kännedomsfrågan om låneinstituten finns ingen signifikant skillnad mellan metoderna.

Inte heller de totala svarsmängderna för de sju påståendena skiljer sig (112% resp. 111%), dvs ingen signifikant skillnad i genomsnittligt antal angivna svar. Det mest förekommande svarsalternativet (om det var en populär jämförelsetjänst) var dock signifikant lägre i SMS-gruppen. Det påvisades däremot ingen skillnad i rankingen av påståendena mellan metoderna.

För livsmedelsfrågan – Vilka faktorer är viktigast när du handlar livsmedel? – har Novus webbpanel generellt valt lite flera faktorer. De totala svarsmängderna uppgår till 452% resp. 425%. Det var dock ingen skillnad i antal faktorer mellan de i Novus panel som besvarade undersökningen i mobilen och de som inte gjorde detta. Skillnaden i antal svar på multipla frågor med extremt många svarsalternativ, i detta fall 25, kan tyda på en viss vaneskillnad mellan de båda insamlingsgrupperna. När vi endast hade 7 svarsalternativ blev det dock ingen skillnad mellan metoderna.

Avslutningsvis kan vi konstatera att båda metoderna leder till samma slutsatser när man analyserar resultatet detta trots den stora skillnaden i deltagarfrekvenser, 64% VS. 9%. Båda metoderna är dock baserade på slumpmässiga urval, vilket visar att slumpmässigt urval är viktigare än deltagarfrekvensen.

Jämförelse: Novus panel och CATI (telefon)

CATI-insamlingen har inte inkluderat samtliga frågor som ställts för övriga insamlingsmetoder, för tidsbesparing och av kostnadsskäl. Därför är nedan underlag mer begränsat.

Vad gäller frågan om partisympati uppger CATI-gruppen i långt högre grad att de inte kan ta ställning till vad de skulle rösta på (10% vs. 21%). Detta är sannolikt en intervjuareffekt då partisympati skulle kunna tänkas vara en fråga som upplevs känslig.

Vad gäller kännedomsfrågan om MSB anger CATI-gruppen i högre grad att de både känner till myndigheten mycket bra och att de aldrig hört talas om den, dvs precis som SMS-gruppen svarar de ytterkants-alternativen. Detta kommer vi att undersöka vidare. Ingen signifikant skillnad finns dock för topbox-alternativet, dvs där högsta och näst högsta värdet slås ihop.

För åsiktsfrågan om medlemskap i NATO ses inga signifikanta skillnader insamlingsmetoderna emellan.

Jämförelse: SMS och CATI

CATI-insamlingen har inte inkluderat samtliga frågor som ställts för övriga insamlingsmetoder, för tidsbesparing och av kostnadsskäl. Därför är nedan underlag mer begränsat.

CATI-gruppen uppger i långt högre grad än SMS-gruppen att de inte kan ta ställning till vilket parti de skulle rösta på om det vore riksdagsval idag. Detta skulle kunna vara en intervjuareffekt då partisympati skulle kunna tänkas vara en fråga som upplevs känslig. Dock syns inga andra signifikanta skillnader mellan metoderna.

Vad gäller frågan om medlemskap i NATO anser SMS-gruppen i högre utsträckning att Sverige bör gå med. CATI-gruppen uppger i högre grad att de inte kan ta ställning. Även detta skulle kunna vara en intervjuareffekt.

För kännedomsfrågan om MSB uppvisas inga signifikanta skillnader mellan urvalsgrupperna.

Metod och genomförande

Novus har genomfört en parallellstudie där vi under samma tidsperiod genomfört identiska undersökningar i Novus Sverigepanel som är rekryterad utifrån slumpmässiga urval, i ett slumpmässigt urval av mobilnummer där undersökningen genomförts med SMS samt på ett slumpmässigt telefonurval (CATI).

Jämförelserna bygger på t-test på frågenivå mellan metoderna.

Novus webbpanel: 1 680 panelmedlemmar bjöds in till undersökningen och 1 072 besvarade den, dvs deltagarfrekvensen var 64%. Mediantiden för att besvara undersökningen var 4 minuter.

Slumpmässigt SMS-urval: 9000 SMS skickades ut och 719 individer besvarade undersökningen vilket motsvarar 9%, Mediantiden för att besvara undersökningen var 5,5 minuter.

Telefon (CATI): Ett slumpmässigt urval har telefonnummersatts. 800 svar samlades in, vilket motsvarar 41% av det sökta urvalet.

Undersökningarna inkluderade följande frågor:

Hur skulle du rösta om det vore val till riksdagen idag?  

Vilket parti röstade du på i riksdagsvalet 2018?           

Går utvecklingen i Sverige på det hela taget mest åt rätt håll eller mest åt fel håll?

Tycker du att Sverige ska bli medlem i den militära alliansen NATO?

Hur väl skulle du säga att du känner till MSB – Myndigheten för samhällsskydd och beredskap?

Om du tänker på hur Coronaviruset (covid-19) hanterats så här långt i Sverige. Vilket förtroende har du för följande myndigheter vad gäller deras hantering av viruset i Sverige? MSB *)

Hur väl skulle du säga att du känner till följande företag (där du kan ansöka om lån utan säkerhet)? Lendo, Freedom Finance, Advisa, Compricer och Zmarta. *

Vilka av följande 7 påståenden stämmer in med din bild av dessa företag? *

Vilka av följande 25 faktorer är viktiga för dig när du handlar livsmedel? (Välj max 5 faktorer) *

(Frågor markerade med * ställdes inte i telefonundersökningen, CATI)

Rapporten är sammanställd av Mikael Ohlsson, Forskningsansvarig, och Anna Andersdotter, Statistiker.