Så görs en tillförlitlig undersökning
Novus är ett undersökningsföretag. Det betyder att vi genom undersökningar ger faktabaserad kunskap kring mänskligt beteende.
En undersökning är en process för att få kunskap. Det handlar om att värdera den fakta och kunskap man redan har och utifrån det få ny kunskap.
Novus har fyra delar till vårt förfogande
Befintlig fakta, statistik, fakta från tidigare undersökningar
Befintlig kunskap kring mänskligt beteende, tex från tidigare undersökningar
Nya fakta, där vi genom slumpmässiga sannolikhetsurval kan ge en bild av vad hela gruppen man försöker förstå, gör, tycker och tänker. Detta är statistikinsamlingen som ofta felaktigt kallas en undersökning. Tillförlitlig fakta är en viktig del i en undersökning. Men det måste vara tillförlitlig fakta. Det enda sättet att få fram det utan att fråga alla är via slumpmässiga urval. Det finns idag inga metoder för att göra på något annat sätt.
Ny kunskap, där vi värderar den nya fakta vi tagit fram tillsammans med befintlig fakta och kunskap. Här har vi också möjlighet att skaffa ytterligare kunskap genom så kallade kvalitativa metoder som djupintervjuer och fokusgrupper.
Alla dessa delar sammantaget ger den kunskap som undersökningen är designad att ge förståelse kring.
En Novus undersökning analyserar fakta och kunskap för att ge ny kunskap.
All fakta är inte heller lika mycket värd även om den är korrekt. Det gäller att sortera bort fakta som inte är relevant också. Det är en del i analysprocessen som Novus genomför i sina undersökningar.
Tillförlitlig ny fakta
För att göra en bra undersökning måste fakta självklart vara tillförlitlig. Det handlar inte bara om urvalsmetodik, men det är starten. Utan ett slumpmässigt urval är det helt omöjligt att uttala sig om något annat än de som är tillfrågade. Hela grunden i undersökningar baserat på statistiska urval är att man inte behöver fråga alla. Det räcker med ett mycket litet urval. Till exempel 1000 svenskar för att kunna uttala sig kring alla 10 miljoner som bor här. Det kan låta otroligt. Men förenklat; slumpmässiga urval löser detta, dock måste alla kunna bli utvalda. Så det går inte att exempelvis säga att man undersöker de som besöker en kvällstidningssajt och rekryterar till en panel – och utifrån det säga att man vet vad svenska folket tycker.
- Slumpmässigt urval
- Välkänt varumärke
- Kort undersökning
- Neutrala frågor
- Pedagogiska begripliga frågor
- Inte för många undersökningar
- Inte samma typ varje gång
- Kvalitetskontroll & vid behov: Bortfallsanalys
Slumpmässigt urval
Undersökningsföretaget måste slumpmässigt välja ut de man frågar utifrån den grupp man vill undersöka. Alla måste ha en chans att bli tillfrågad.
Detta gör Novus via telefon (fast och mobil), SMS och vykort.
Vi kan hitta telefonnumren till nästan 90 procent av alla svenskar. De vi inte hittar får ett vykort från oss. Så vi kan med säkerhet säga att alla har en chans att vara med på Novus undersökningar.
Gruppen man vill undersöka kan vara svenska folket, lärare, företagare, anställda, kunder, medlemma etc.
Har man ett slumpmässigt urval kan man med 95 procent sannolikhet säga vad alla man vill få kunskap kring tycker, tänker och agerar.
Välkänt varumärke
Novus är Sveriges mest kända undersökningsföretag, våra undersökningar presenteras dagligen i nyhetsmedia och den igenkänningen är viktig för att få svar från alla man behöver få svar från, så att undersökningen ger en bild av hela gruppen man vill undersöka. Ett välkänt undersökningsföretag säkrar att bortfallet inte blir snedvridet och eliminerar missvisande resultat.
Novus är svenskägt och har inga kopplingar till några partier, intresseorganisationer eller andra som kan vilja påverka genom sina undersökningar. Eftersom Novus är börsnoterat på Spotlight så finns också aktieägarna listade publikt. Den största ägaren är grundare Alf Sjöströms bolag Gallup Nordic (svenska Gallupintitutet) som innehar cirka 60 procent av aktierna.
Kort undersökning
En privatperson skall kunna genomföra en undersökning under ungefär den tiden det tar att dricka en kopp kaffe. De flesta som skall undersökas ser på sin tid precis som du själv gör. Tar det för lång tid så hinns det inte med och svaret uteblir. Hinns det inte med bland stressade personer så missar man kanske den viktigaste gruppen man faktiskt vill undersöka. Tar undersökningen för lång tid får man ett skevt urval. Ett skevt urval leder till att undersökningen inte längre är representativ.
Novus undersökningar tar i genomsnitt 5 minuter att slutföra. Det internationella genomsnittet bland undersökningsföretag är 20 minuter, vilket många undersökningsföretag och forskare har som genomsnitt.
Att långa undersökningar leder till att färre orkar slutföra undersökningen är inte så förvånande om man tänker efter. Man kan öka andelen som svarar, men det som händer när det blir längre är att typen som svarar är andra än de som inte svarar. Förenklat; tålmodiga svarar, stressade gör det inte. Men denna skillnad i mentalitet leder till en skevhet i resultatet som man inte vill ha. Undersökningen riskerar då att inte längre vara representativ mot den grupp man skall undersöka. Trots att man har ett slumpmässigt urval i grunden så skapar man genom för långa enkäter en snedvridning i resultatet.
Även om man kan få folk att svara på en lång undersökning så kommer man skada tilltron från den som svarar på undersökningar i framtiden. Så genom begära in svar på en lång undersökning en gång så skadar man representativiteten i framtiden.
Novus tänker långsiktigt i våra undersökningar, och vi måste respektera de svarandes tid också. Bra undersökningar är kul att svara på och vi begär bara lite tid av varje svarande. Men totalt genom att fråga hundra eller tusentals så får man extremt mycket tillförlitlig fakta genom en liten tid per intervjuperson. Är det svårt att få in allt i en undersökning? Gör hellre flera än en lång!
Neutrala frågor
En undersökning skall ge svar på hur det faktiskt är kring ett område, inte påverka den som svarar.
Det går ganska lätt att få de svar man vill om man inte är uppmärksam, det är också lätt hänt att det sker omedvetet om du är anställd på ett ställe vars syfte är att sälja idéer eller produkter. Är man anställd på ett parti har man som jobb att älska partiets politik. Är man anställd hos en mjölkproducent ingår det att älska mjölk. Då skapar man omedvetet vinklade frågor som kan skapa ett resultat man vill ha.
Men Novus syfte är att inte påverka utan att undersöka. Frågorna måste vara neutrala och balanserade för att inte påverka i någon riktning.
Det betyder inte att människan är lättlurad, men däremot lättpåverkad kring frågor som man egentligen inte funderat så mycket på innan man fick frågan. Vilket ofta är syftet med undersökningar, att fråga om saker man inte ägnat så mycket tanke åt. Det är inte proffstyckare vi söker, tvärtom.
En annan sak att tänka på är att den fakta man lägger in i en fråga kan påverka utgången. Så behöver man förklara omständigheterna i en fråga är det viktigt att all fakta är rätt och relevant.
Skillnaden mot journalistens frågor
Här skiljer sig en undersökning radikalt från en journalists sätt att ställa frågor. En journalist skall ofta gräva fram känslig information och använder sig därför av kritiska frågor.
Men det finns ingen anledning att ljuga i en undersökning, man svarar anonymt och du har inget att vinna på att framstå på det ena eller andra sättet förutsatt att frågorna inte är ledande.
Pedagogiskt begripliga frågor
De flesta människor och då även de som undersöks är i regel inte insatta i frågan och detaljerna kring området innan man får frågan är låg. Därför är det viktigt att man ställer en fråga som alla kan förstå och kan svara på. Förutsätt inte att alla är insatta i frågan som ska undersökas. Tvärtom, säkerställ att det finns tillräckligt med information så att det går att svara på.
Men, vi rekommenderar inte att man tvingar fram ett svar. Här avviker vi lite från en del av forskningen inom området. Vi rekommenderar att man skall kunna svara att man inte vet eller inte har någon åsikt. Även om det oftast går att tvinga fram en åsikt som bland annat undersökarna på Stanford förordar.
Men på Novus handlar det också om långsiktighet. Att tvinga fram en åsikt man inte egentligen bryr sig om för att se åt vilket håll det lutar kan kortsiktigt eventuellt ge en lite ytterligare information. Men i regel påverkar det inte resultatet alls, däremot skapar det garanterat en irritation hos den som skall svara som verkligen inte bryr sig och man riskerar att missbruka intervjupersonens tålamod och förtroende negativt. Något som kan skada viljan att svara på framtida undersökningar alternativt att undersökningen inte slutförs och bortfallet blir skevt och i sin tur gör att undersökningen inte blir representativ för gruppen man skall undersöka. Det kan också oftare vara viktigare att se att en stor grupp inte bryr sig än att tvinga folk till att ha en åsikt. Utmaningen kan vara för en kund att få folk att bry sig och aktivt välja en produkt eller tjänst, istället för att tvinga den man frågar att välja. De flesta beslut är inte av den karaktären i vardagen. Man måste inte alltid välja en produkt eller ha en åsikt en om allt i livet.
En annan sak att tänka på är att den fakta man lägger in i en fråga kan påverka utgången. Så behöver man förklara omständigheterna i en fråga är det viktigt att all fakta är rätt och relevant.
Inte för många undersökningar
Det är väldigt få som är proffstyckare i världen, även om det kan vara lätt att tro det omvända om man tittar på nyheterna eller sociala medier. I det offentliga rummet premieras de som har starka högljudda åsikter och ofta är självpåtagna talespersoner för en grupp.
Novus undersökningar går ut på att fråga alla. Den tysta majoriteten är inte bara ett uttryck utan ett faktum. Alla är potentiella kunder, väljare och medborgare. Och våra undersökningar kan därför inte skapa en skev bild. Har man inte ett slumpmässigt urval utan en självrekryterad panel så kommer man automatiskt få en övervägande del som vill påverka. Vilket Novus forskning visat upprepade gånger. Går man med i en självrekryterad panel så gör många det för att påverka eller tjäna pengar. Det är också något de som gör undersökningar via den metoden lockar med. ”Gör din röst hörd!”, ”Var med och påverka!”, ”Svara på undersökningar och tjäna pengar!” är vanliga lockrop som används av de självrekryterade panelerna för att få in svarande. Fet skapar en åsiktsmässig skevhet som gör att man inte kan lita på resultatet. Man har då rekryterat proffstyckare.
Även om man har en slumpmässig åsiktsmässigt representativ grupp av de man vill undersöka så finns alltid risken att man tröttnar om man blir tillfrågad för ofta, vilket kan påverka svaren.
Är man med i Novus panel får man en undersökning i genomsnitt en gång i månaden. Oftare än så skapar en utmattningseffekt. Även här är Novus vad vi vet unika. Många andra undersökningsföretag skickar ut betydligt fler undersökningar i månaden. Något som skapar ett bortfall som gör att de som svarar är åsiktsmässigt avvikande från gruppen man vill undersöka.
Inte samma typ varje gång
Får du en fråga om något kommer den sitta kvar i ditt undermedvetna och det kommer trigga en ökad medvetenhet kring det området. Priming kallas det, något man skall undvika både i frågekonstruktionen, men också mellan undersökningar. Så har man fått en undersökning om ett område så skall man inte få samma igen i närtid. Ställer man samma frågor upprepade gånger skapar man proffstyckare.
Novus säkerställer att man inte ställer samma typ av frågor till samma personer i närtid för att undvika priming och skapa proffstyckare som sedan avviker från gruppen man vill få kunskap kring.
Det finns ett undantag, och det är om man vill följa människors förändrade syn över tid. Men då är det inte längre en populationsuppskattning, utan mer en sociologisk studie där man följer en åsiktsförändring bland de man frågar.
Kvalkontroll och vid behov: Bortfallsanalys
Gör man hundratals undersökningar varje år så får man en känsla kring hur människor fungerar. Det innebär också att man kan se på datan om den har den kvalitet den bör ha. Problem kan uppstå på grund av exempel som beskrivits ovan men också andra händelser som problem i utskick, problem med individuella intervjuare som inte varit så neutrala som de skall vara etc. De vanligaste felen går att fånga genom erfarenhet och kunskap. Men det är inte bara det, misstänker man att bortfallet kan vara skevt så kan man göra en bortfallsanalys för att säkerställa att de som inte svarat inte avviker åsiktsmässigt från de som svarat. Ett bra undersökningsföretag är inte bara utlämnad till att titta på datan man fått in utan den kan värderas. Enligt teorin om man har ett slumpmässigt urval och har bra neutrala frågor i en kort undersökning så ligger resultatet med 95 procent sannolikhet inom felmarginalen.
Enligt den teorin så är det alltså 5 procent risk att felet är större än felmarginalen. Så teoretiskt skulle en undersökning per 20 kunna vara fel. Men det stämmer bara i teorin utan kvalitetskontrollen som Novus erfarna undersökare har. Genom att man kan kontrollera datakvaliteten baserat på erfarenhet kring hur åsikten varit i närliggande undersökningar så kan man snabbt fånga upp och avgöra om det är något som inte stämmer. Skulle det vara så kan man göra om datainsamlingen.
Så i praktiken är det vår erfarenhet att resultatet i nästan 100 procent av fallen är inom felmarginalen från vad undersökningens faktainsamling (datainsamling) säger.