Hur görs en bra undersökning?

En Novusundersökning analyserar fakta och befintlig kunskap för att sedan generera och bidra med ny kunskap inom ett ämne. Vi vill gärna dela med oss av hur detta går till. Det är viktigt för att förstå skillnaden mellan vad som är en bra och tillförlitlig undersökning och vad som inte är det. En icke korrekt utförd undersökning är vilseledande och därmed obrukbar.

I filmen nedan beskriver Torbjörn Sjöström, VD på Novus, just detta. Klippet är ett utdrag ur Novus Tillförlitlighetsseminarium från februari 2022. Klicka här för att se hela seminariet.

Novus har fyra delar till vårt förfogande

Befintlig fakta, statistik och fakta från tidigare undersökningar.
Befintlig kunskap kring mänskligt beteende.
Nya fakta, där vi genom slumpmässiga sannolikhetsurval kan ge en representativ bild av hela målgruppen.
Ny kunskap, där vi värderar den nya fakta som tagits fram tillsammans med befintlig fakta och kunskap. Här finns även möjlighet att skaffa ytterligare kunskap genom kvalitativa metoder som djupintervjuer och fokusgrupper.

Samtliga delar genererar sammantaget den kunskap som undersökningen är designad att ge ökad förståelse kring. Via en analys efter genomförd undersökning plockar Novus kunskapsexperter ut de fakta som är relevant för kunden.

Undersökningens byggstenar

I följande text listar vi viktiga byggstenar som en tillförlitlig undersökning bör innehålla för att hålla hög kvalitet.

Slumpmässigt urval

Ett slumpmässigt urval är avgörande för att undersökning ska säkerställa ett representativt resultat för hela undersökningsgruppen. Novus strävar alltid efter att alla inom målgruppen ska ha en chans att bli tillfrågad. Detta görs genom flera kontaktsätt, så som via telefon, SMS, vykort och Kivra.

Tänk dig att du ställer en fråga i ett klassrum. Endast några få elever räcker upp handen och svarar – ofta de som är mest ivriga eller har ett starkt intresse för ämnet. För att få en mer heltäckande bild måste du också fråga de som inte självmant svarar. Om beslut baseras på undersökningar där endast de mest högljudda rösterna hörs, riskerar besluten att bli missvisande.

Välkänt varumärke

Novus är massmedialt Sveriges mest citerade analys- och kunskapsföretag, där våra undersökningar regelbundet lyfts fram i nyhetsmedia. Igenkänning är en viktig aspekt för att motivera respondenter att svara på undersökningen, och därmed minska risken för bortfall och missvisande resultat.

Novus är svenskägt och har inga kopplingar till varken partier, intresseorganisationer eller andra som kan vilja påverka genom sina undersökningar. Eftersom Novus är börsnoterat på Spotlight finns även aktieägarna listade publikt. Den största ägaren är grundare Alf Sjöströms bolag Gallup Nordic (svenska Gallupinstitutet) som innehar cirka 60 procent av aktierna.

Kort undersökning

För att samla in och få så många svar som möjligt och undvika bortfall av respondenter bör undersökningstiden vara kort. Samtliga Novusundersökningar har ett genomsnitt på 5–6 minuter.

Även om det är möjligt att motiverade respondenter genomför en lång undersökning, riskerar förtroendet att försvagas när en omfattande svarstid begärs. Detta kan i sin tur påverka respondentens vilja att delta i framtida undersökningar, något som kan minska representativiteten över tid. Prioritera flera korta undersökningar framför en, lång undersökning.

Neutrala frågor

De frågor som ställs ska vara neutrala och balanserade. Frågorna ska vara pedagogiskt begripliga och inte ”leda” respondenten eller påverka i någon riktning.

Det finns en risk att omedvetet ställa ledande frågor, och därmed uppnå ett önskat resultat, när syftet är att sälja en produkt eller idé. Novus syfte är att undersöka, inte påverka. Här kan våra medarbetare, med hjälp av sin omfattande undersökningskompetens, förse er med frågeunderlag som passar målet med er undersökning.

Pedagogiskt begripliga frågor

Eftersom urvalet är slumpmässigt rekryterat behöver det i regel förutsättas att respondenten inte är insatt i frågan och har låg detaljkännedom om ämnet. Därför är det viktigt att ställa frågor som alla kan förstå och svara på. Reflektera även över den fakta som inkluderas i frågorna för att förklara omständigheterna, samt säkerställ att det är relevant och korrekt.

För risken att respondenter inte kan eller vill svara på en specifik fråga rekommenderar vi att inkludera svarsalternativ som ”Jag vet inte” eller ”Ingen åsikt”, med syftet att minimera irritation och missbrukandet av intervjupersonens förtroende.

Respondenten ska aldrig känna sig tvingad att besvara en fråga där en saknar åsikt eller inte vill svara. Det är å andra sidan viktigt att poängtera anonymiteten, att inga svar kopplas till en enskild individ – för att stärka förtroende och motivationen att besvara undersökningsfrågor.

Begränsat antal undersökningar

En respondent ska inte bli tillfrågad att svara på frågor med allt för nära mellanrum, med syfte att minimera risken för en utmattningseffekt. Medlemmar i Novus Sverigepanel blir tillfrågade ungefär 1–2 gånger per månad.

Variation – Undvik proffstyckande publik

Ett omedvetet proffstyckande kan uppstå hos respondenten om samma typ av frågor ställs upprepande gånger. Detta fenomen, priming, innebär att få en fråga om något som sätter sig kvar i ens undermedvetna vilket triggar en ökad medvetenhet kring området, som i sin tur riskerar att skeva resultatet i undersökningen och därmed en icke riksrepresentativ tillfrågad publik. För att minska risken för proffstyckare får inte respondenten känna till vilken typ av undersökning som ska genomföras. Vid återkommande undersökningar försätts de respondenter som tidigare svarat på liknande i karantän, där tidsramen för rimligt avbrott bedöms av Novus tillsammans med kund.

Undantag för detta fenomen är vid undersökningar som önskar följa människors förändrade syn över tid. Detta särskiljer sig från en populationsuppskattning och är snarare än sociologisk studie med fokus på en åsiktsförändring inom en specifik grupp.

Kvalitetskontroll & Bortfallsanalys

Novus genomför hundratals undersökningar varje år och våra medarbetare har därför en gedigen människokännedom och kunskapen att snabbt identifiera eventuella avvikelser i dataunderlaget. Olika problem kan uppstå på grund av ovannämnda anledningar, men även ytterligare händelser, som problem med utskick eller bristande neutralitet hos enstaka individuella intervjuare. Allra oftast går de vanligaste felen att fånga i tid genom erfarenhet och kunskap hos undersökaren.

På Novus genomförs rimlighetskontroller under datainsamlingen för att säkerställa kvaliteten och ett riksrepresentativt resultat.
• Rimlighetskontroller av urval
• Provintervjuer före fältstart (datainsamling)
• Kontroll av inkomna kommentarer på undersökningen till Novus panelsupport
• Stickprovskontroller under pågående datainsamling
• Löpande demografisk kontroll på totalnivå (topline) för att kontrollera svarsprofilerna utefter exempelvis kön, ålder och geografi
• Kontroll av svarsmönster för att sortera bort personer som genomgående svarar ”vet ej” eller har ett liknande svarsmönster
• Kontroll av orimligt snabb svarstid

Kvarstår misstanke om ett skevt bortfall, kan resultatet utvärderas genom en bortfallsanalys. Novus har möjlighet att genomföra två olika typer av bortfallsanalyser.

I första hand görs en bortfallsanalys bland de respondenter som påbörjat, men inte avslutat, undersökningen. Nya resultat tas fram inklusive de svar som inkommit fram tills att panelmedlemmen avbröt undersökningen. Dessa inkluderas för att kontrollera eventuella signifikanta skillnader. Dessutom kontrolleras den eller de frågor där flest avhopp skett.

Om det fortfarande förekommer en osäkerhet om att bortfallet kan ha snedvridit resultaten skickas nyckelfrågor ut till de som inte besvarat undersökningen. Detta görs för att kontrollera huruvida det skapar signifikanta skillnader i resultaten när sådana svar inkluderas.

Varför du ska undvika en självrekryterad panel

Novus undersökningar strävar efter att fråga alla inom målgruppen. En självrekryterad panel gagnar de som syns och hörs mest med sina åsikter, vilket medför ett vilseledande resultat. Den tysta majoriteten är inte bara ett uttryck, utan ett faktum.