Vanliga frågor

Här får du svar på några av de vanligaste frågorna som ställs till oss.

Frågor om Novus

Vad är Novus svar på ESOMARS 28 frågor?

Novus är medlem i den internationella branschorganisationen ESOMAR.

Esomar har tagit fram 28 frågor som skall hjälpa kunder och allmänheten att avgöra seriositeten hos ett undersökningsföretag och har fokus på online-undersökningar.

Esomars 28 frågor finns att läsa här. 

Novus har självklart svarat på dessa frågor och svaren hittar du här.

Vilka är Novus publiceringsregler?

Novus varumärke är en garant för att en undersökning har gått rätt till och att slutsatserna kring densamma är korrekta utifrån målet med undersökningen. Enligt internationella branschregler (ESOMAR) är Novus som undersökningsföretag ansvariga för att våra undersökningar tolkas rätt vid första publicering.

För att säkerställa att våra undersökningar presenteras på ett korrekt sätt ber vi alltid att få se den text som skrivs med syfte att publiceras där Novus undersökningar omnämns.

Novus förbehåller sig rätten att korrigera felaktiga siffror och tolkningar som har publicerats.

Vad är Novus policyråd till redaktioner?

Policyråd för redaktioner kring nyhetsvärdering av undersökningar

Alla seriösa undersökningsföretag vill att undersökningarna korrekt skall representera verkligheten. Undersökningsföretagets varumärke är en garant för korrektheten. Men redaktionerna behöver ofta lite handfasta råd att kunna hålla sig i.

Checklistan går inte ut på att premiera Novus, utan det är ett hjälpmedel för att avgöra alla aktörers undersökningar. Novus har regelbundet utbildat redaktioner och varit mer eller mindre delaktiga i många redaktioners checklistor. Men dessa listor är inte alltid publika, så vi kände att det var bra att göra ett dokument som alla kan ta del av och som är baserad på den forskning och etablerad erfarenhet som finns.

Ett ord på vägen, det sunda förnuftet är jätteviktigt, glöm inte det. Undersökningar är ingen magi, det är inget trolleri.

Guiden är fritt fram att använda. Fritt fram att utgå från som egen stomme. Men ta inte bort dessa grundförutsättningar som specificeras här. För då faller möjligheten att korrekt kontrollera undersökningens trovärdighet.
Ladda ned PDF versionen här: Novus Policy undersökningar v1

Vad är Nordic Research Alliance?

Novus Nordic Research Alliance är ett samarbete mellan svenska Novus, norska Respons Analyse, danska Analyse Danmark och finländska Otanta.

”Novus Nordic Research Alliance: from opinion through insight to action”

Det främsta syftet med samarbetsavtalet är att erbjuda våra kunder att snabbt, kostnadseffektivt och med hög kvalitet kunna genomföra undersökningar även i övriga Norden. Novus får tillgång till totalt 120.000 panelmedlemmar av hög kvalitet i Norden, varav 27.000 i Sverige. Ingen av dessa paneler är ”självrekryterade” utan slumpmässigt rekryterade.

Förutom detta skapar alliansen även möjligheter till samarbete och utveckling av tekniska plattformar samt förutsättningar för kunskapsdelning när det gäller analysmetoder och produkter.

Frågor om Novus Sverigepanel

Vad är Novus Sverigepanel?

Novus Sverigepanel är en webbpanel som idag består av cirka 45 000 slumpmässigt rekryterade panelister från hela landet. Syftet med Novus Sverigepanel är att ge en representativ bild av vad vi som bor i Sverige tycker.

Kan man anmäla sig till Novus Sverigepanel?

Ingen självrekrytering

Nej, du kan inte själv anmäla dig till vår Sverigepanel. Vi använder oss av en slumpmässig rekrytering, det vill säga inte självrekrytering. Detta innebär att initiativet vid rekrytering alltid kommer från Novus och att ingen kan själv anmäla sig eller ”ansöka” om att vara med i vår webbpanel. Anledningen till att vi inte har någon självrekrytering, där man kan anmäla sig själv, är för att panelen ska vara riksrepresentativ i avseende ålder, kön och region. Det är alltså viktigt att ha full kontroll över urvalet och det krävs dessutom ett slumpmässigt rekryterat urval för att kunna redovisa statistiska felmarginaler.

Rekryteringen sker framförallt genom slumpmässiga telefonintervjuer men även genom riktade personliga inbjudningar till kända underrepresenterade målgrupper. Till personer som saknar registrerade telefonnummer skickar vi personliga inbjudningar via post för att säkerställa att även dessa personer bjuds in till Novus Sverigepanel. Vi använder oss även av sms för att nå personer som inte svarar i telefon.

Panel är en färskvara vilket innebär att vi kontinuerligt nyrekryterar nya medlemmar till vår panel. Novus definierar en aktiv medlem en som svarat på minst en undersökning under senaste kvartalet. Branschorganisationen Esomar har en gräns på ett år vilket vi tycker är för frikostigt.

Vad är viktigt att tänka på när man genomför webbundersökningar i paneler generellt?

  • Panelen ska vara slumpmässigt rekryterad för att kunna spegla verkligheten
  • Undersökningsföretaget ska alltid kunna redovisa deltagarfrekvens för varje enskild undersökning
  • Panelisterna ska inte vara proffstyckare, dvs få för många undersökningar. Får man fler än två per månad finns risken att man blir proffstyckare och svarar på undersökningen av fel skäl.
  • Panelen ska skötas med ett bra panelmangement avseende belöningar, validering av svar osv
  • Tid för fältarbetet (genomförandet av intervjuer) ska alltid redovisas och helst innehålla både vardagar och helgdagar

Frågor om personuppgifter

Hur hanterar Novus mina personuppgifter som kommer in via Novus hemsida?

De personuppgifter vi samlar in via vår hemsida är sådana som du själv uppger till oss till exempel via vårt formulär för offertförfrågan, kontaktformulär eller via anmälan till vårt nyhetsbrev. Dina personuppgifter sparas i vårt CRM-system Lime. Vi använder dina personuppgifter för att kontakta dig gällande en offert eller annan fråga du har ställt oss, eller för att skicka vårt nyhetsbrev. Vi delar inte dina personuppgifter med andra aktörer. Du har alltid rätt att begära att Novus, helt eller delvis, tar bort dina personuppgifter och/eller bakgrundsdata som vi sparat i vår databas. Vidare har du rätt att ändra eller, inom 30 dagar och i elektroniskt format, ta del av de uppgifter som vi har sparat om dig.

Novus integritetspolicy hittar du här.

Hur hanterar Novus mina personuppgifter som panelmedlem?

Ditt förtroende är viktigt för Novus och vi vill att du ska känna dig trygg med att lämna dina personuppgifter i form av din e-postadress till oss. Novus värnar om att skydda våra medlemmars personliga integritet. Novus tycker därför att det är bra att GDPR-lagstiftningen börjat gälla från den 25 maj 2018. Den tydliggör att personuppgifter bara är till låns och bygger på ett samtycke och förtroende mellan Novus och medlemmarna i Novus Sverigepanel. Precis så som det ska vara. Den dagen du inte längre tycker att vi förtjänar ditt samtycke så kan du enkelt dra tillbaka det genom att maila till panel@utskick.novusopinion.se eller info@novus.se

Vi garanterar att ingen kommer att se att just du deltagit i en undersökning eller vad just du svarat. Det är frivilligt att svara på de undersökningar vi skickar ut och dina svar behandlas självklart konfidentiellt. Att skydda din personliga integritet är lika viktigt för oss som för dig. Novus kommer aldrig att lämna ut din e-postadress eller andra uppgifter om dig till tredje part.

Du har alltid rätt att begära att Novus, helt eller delvis, tar bort dina personuppgifter och/eller bakgrundsdata som vi sparat i vår databas. Du har även rätt att ändra, eller inom 30 dagar i elektroniskt format ta del av, uppgifter som vi har sparat om dig.

När Novus genomför undersökningar sparar vi personuppgifter och insamlade svarsdata i krypterade databaser där personuppgifter och svarsdata är pseudonymiserad. Pseudonymiseringen innebär att personuppgifter och insamlade svarsdata lagras i olika databaser, i olika format och på olika ställen.

När en undersökning från Novus är genomförd och avslutad tas kopplingen mellan respondenten och de data som samlats in bort.

Den enda information som Novus sparar om dig är din e-postadress, samt svaren på de frågor som du besvarade antingen när du registrerade dig eller vid den senaste uppdateringsundersökningen där vi bad dig uppdatera dessa uppgifter. Denna information används endast för att bjuda in dig till relevanta undersökningar, samt för att på en aggregerad nivå ha möjlighet att redovisa resultaten för kommande undersökningar. Informationen sparas endast så länge du är medlem i Novus Sverigepanel.

Novus har upprättat nödvändiga säkerhetsrutiner för behandlingen av personuppgifter enligt de krav som uppställs i GDPR-lagstiftningen och av Datainspektionen. Alla personuppgifter sparas inom EU och tillgången till dina personuppgifter är begränsad till ett fåtal personer som ansvarar för all urvalshantering och bearbetning av all insamlade data. Novus har dessutom ett ”Service Level Agreement” med vår systemleverantör, Quenchtec, vilket reglerar fysisk och teknisk säkerhet, tillgänglighet, backup, mm.

Novus följer även de regler som den internationella branschorganisationen ESOMAR tillämpar när det gäller hantering av kunddata och sekretess. Novus är fullvärdig medlem i ESOMAR.

Om du tror att Novus inte har uppfyllt dina rättigheter enligt GDPR-lagstiftningen, har du rätt att överklaga till den aktuella tillsynsmyndigheten. Detta görs genom att skicka ett klagomål till Datainspektionen. Kontaktuppgifter finns på: http://www.datainspektionen.se

 

Novus integritetspolicy hittar du här.

Frågor om undersökningar - generellt

Går det verkligen att undersöka nu för tiden?

Ja absolut, en undersökning från Novus är pålitlig och ger en korrekt bild kring det ämne som man vill undersöka inom den omfattning vi säger. Däremot måste man ha i åtanke att det finns en felmarginal och ett konfidensintervall. Skall man bli teknisk så är i regel våra undersökningar korrekta i 95% av fallen och resultatet är inom ett spann som definieras av felmarginalen. Till exempel om en undersökning säger att 57 % tycker om glass, så innebär det att med 95 % sannolikhet så tycker 57% om glass plus minus den angivna felmarginalen. Så egentligen är det viktigaste att man också läser och lyssnar på våra analyser, dessa är viktiga för att förstå vad undersökningen egentligen säger, tyvärr i media glöms dessa analyser ofta bort, något som vi försöker jobba med gentemot redaktionerna. En undersökning är inte bara en siffra som ger lite nyhetsvärde. Analysen är viktigare för att förstå vad en undersökning faktiskt säger och inte säger.

SCB säger att bortfallet är det största problemet med undersökningar, är det så?

SCB skrev i sin årsredovisning att bortfallet var det största hotet mot deras verksamhet, och alla som någon gång skrivit en årsredovisning vet att revisorerna vill att man skriver om möjliga affärshot, oavsett risken för dessa. Det är sant att bortfallet är större nu än det var för 20 år sedan. Färre svarar i telefon. Men trots så svarar varannan tillfrågad på Novus telefonundersökningar, och på Novus webbundersökningar så svarar i regel 6 av 10. Bortfallet i Sverige är inte ett överhängande problem. Det finns även studier i USA där bara 1 av 10 svarar på en telefonundersökning att resultatet trots det stämmer överens med hela befolkningens åsikter. Men utmaningen i USA är helt annorlunda. Till exempel existerar det inga bra register för mobilnummer där. Å alla vet ju att man inte bara kan ringa till fasta telefoner.

Med all big data som finns behövs väl inte undersökningar längre?

Big data betyder i praktiken att man har väldigt stora datamängder oftast inom ett begränsat område. De största globala IT företagen som Google, Microsoft och Facebook är väl de man tänker på främst. Tanken är att man utifrån denna passiva data skall kunna förutsäga något mer. Och det funkar ibland inom väldefinierade områden. Google har varit mycket duktiga på att koppla ihop sökmönster med influensaspridning, ett väldefinierat område där man lätt kan koppla ihop förändringar i ett beteende med en sjukdomsspridning. Men området är alltid begränsat och man kan inte ta vilken data som helst och applicera på vad som helst. Till exempel går det inte att utifrån Twitter förutsäga valresultatet i ett land, inte ens om man räknar baklänges en gång så kan man vara säker på att det fungerar i nästa val. Data förändras hela tiden. Och att genom passiv datainsamling tro att man kan lösa alla problem är, förutom att man lurar sig själv på kuppen, ett omöjligt mål att uppnå.

Däremot använder Novus så kallad big data som en del i sin analys. Novus utgår alltid från undersökningar där vi frågar människor, men det kompletteras med andra kända fakta eller beteende. Allt kan man inte fråga om, precis som man inte kan mäta allt utan att fråga.

En annan utmaning med big data även inom de områden där de skulle kunna vara bra, är att bara för att data finns betyder inte det att man kommer åt den lätt. Det är helt upp till de som samlar in data att göra det tillgängligt. Så det är många osäkerheter och långt ifrån så enkelt och universellt som man ofta vill få det till att vara.

Extern data är ett ypperligt komplement till att fråga, men det ena utesluter inte det andra och man måste hela tiden veta vad man gör, kompetens och förståelse är det centrala här.

Det som hände i engelska valet är väl tecken på en kris i branschen?

Ja, det stämmer, internationellt kan man nog klassa det som en kris, men grunden i detta är kopplat till betalningsviljan. Om man inte har råd att köpa riktiga undersökningar så blir det allt sämre. Massmedia får väljarbarometrar till ett kraftigt reducerat pris, i många fall helt gratis. Det har lett till att undersökningskvaliteten blivit allt sämre. Läs mer om detta på vår blogg.

Jag har hört att Facebook kommer ta över undersökningsbranschen, stämmer det?

Ja vi har hört det också, tänk vad lätt saker feltolkas. Men det visar hur dåliga vi som undersökningsföretag är på att definiera oss själva och berätta om vad vi gör. Tror man att det bara är datainsamling av 1000 svar, oavsett var de kommer ifrån så är det lätt att se Facebook, Google och Twitter som hot. Men om man verkligen förstår vad vi gör. Tar fram kunskap åt våra kunder med hjälp av intervjuer, så inser man att det dessa globala IT företag kan bistå med i form av kompletterande data är mycket intressant och det blir ytterligare verktyg som undersökningskonsulten kan använda i sitt arbete att ta fram kunskapen våra kunder efterfrågar.

Skulle det faktum att Facebook, Twitter och Google ställer ut på undersökningsbranschens mässor vara ett bevis för att de skulle vilja ta över branschen? Varför ställer man ut på en mässa? Jo för att man vill sälja till oss som är där, inte för att man vill ta över.

Frågor om undersökningar - statistik och metod

Vad är en undersökning?

En undersökning är en process eller aktivitet för att skaffa sig kunskap.
Det är precis så man skall se på det. Den kunskap Novus bidrar med utgår från åsikter i olika frågor där vi hjälper våra kunder att förstå vad bland annat allmänheten, medlemmar eller kunder tycker. Men det startar och stannar inte vid bara att samla in svar.

En undersökning består av dessa delar:
• Definiera området som skall undersökas och formulera relevanta frågor
• Insamling av svar
• Rapportering och analys av resultatet

Alla steg krävs för att säkerställa att våra kunder kan skaffa sig den kunskap de behöver.

Vad är ett representativt urval?

Något som ofta nämns i undersökningar är begreppet ”representativt urval”. Inte sällan återfinns en formulering i stil med ”1000 genomförda intervjuer med ett representativt urval (ålder, kön och region) av svenska folket i åldern 18-79 år.”

Med representativt urval menas att fördelningen hos de tillfrågade i undersökningen motsvarar hur fördelningen ser ut i verkligheten. Om vi t.ex. gör en undersökning bland svenska allmänheten ska exempelvis ungefär hälften av de tillfrågade vara män och hälften kvinnor, en tiondel vara stockholmare o.s.v – fördelningen i ålder, kön och geografisk spridning ska motsvara fördelningen hos svenska folket.

Vad är ett slumpmässigt urval?

Grunden i alla statistiska undersökningar är att urvalet skall vara slumpmässigt utifrån den grupp som skall undersökas. Det är undersökningsföretaget som slumpmässigt väljer ut vilka som skall tillfrågas.

Man skall inte själv kunna anmäla sig frivillig till att svara på frågor (självrekrytering, intresserade kontaktar undersökaren och säger att de gärna är med på undersökningar). Initiativet till att få svar måste ALLTID komma från undersökningsföretaget. Självrekrytering, opt in, web pop up etc. går alla ut på att undersökningen inte har kontroll över vilka som svarar eller inte svarar, där de som svarar själv söker sig till undersökningen, gör att grunden i en undersökning faller.

Värt att notera att man ofta bygger paneler som man sedan drar ett slumpmässigt urval ur. Men det viktigaste här är att medlemmarna i panelen inte är självrekryterade.

Det finns undantag, det är totalundersökning. Man har frågat alla. Tex en enkät till alla Sveriges riksdagsledamöter. Då är det inte slumpmässigt, men det är ändå pålitligt, dock bör man kontrollera bortfall.

Vad är felmarginalen?

Alla undersökningar som är korrekt genomförda innehåller en känd felmarginal (en osäkerhet). Felmarginalen varierar beroende på procentnivå och antal intervjuer.

Felmarginalen skall läsas som att ett resultat är med 95 % sannolikhet på nivån X plus minus felmarginalen. T.ex. om det är 1000 intervjuer och ett resultat har stöd av 30 % av svenska folket, där felmarginalen är 2,8%, då betyder det att resultatet är med 95 % sannolikhet mellan 27,2 och 32,8.

OBS! Felmarginaler kan bara räknas när urvalet är slumpmässigt utifrån den grupp man skall undersöka. Skall man undersöka alla röstberättigade i Sverige så måste urvalet vara slumpmässigt utifrån alla röstberättigade svenskar. Alla Novus-undersökningar är baserat på ett slumpmässigt urval. Felmarginalerna är då ett bra riktvärde. Men de undersökningar när respondenter aktivt söker sig till undersökningsföretaget, kallas ofta för opt in, eller självrekryterat. Där har man ingen möjlighet att använda felmarginaler. Där är felet helt okänt, man kan inte säga att resultatet stämmer med 95 % sannolikhet. Det kan råka stämma ändå, men man VET inte. Undersökningar genomförs för att man vill veta mer, inte gissa.

Läs mer om felmarginalen här

Är undersökningen statistiskt signifikant?

En fråga som vi får lite för ofta, men den går inte att svara på. Signifikans eller statistiskt säkerställd förändring används när man jämför två undersökningar mellan varandra. Är förändringen statistiskt säkerställd så innebär det att man med 95 % säkerhet kan säga att det har hänt något från ett undersökningstillfälle till ett annat. Men det är också så att även om det inte är statistiskt säkerställt så kan det ändå ha hänt något. Och vänder man på det, trots att det är statistiskt säkerställt, så kan det vara orsaken av ett mätfel. Så det viktigaste är att läsa och lyssna på analysen av undersökningen. Novus konsulter har inte bara koll på statistiken, vi har även sakkunskap om ämnet och kan göra kvalificerade analyser kring resultatet. Sedan använder vi statistiska modeller för att kunna göra bättre analyser, men det är bättre att vi gör vårt jobb och ger så bra analyser som möjligt än att någon utomstående tittar på en siffra om kommer med en oinitierad analys.

Om alla förändringar är inom felmarginalen, då har det väl inte hänt något?

Det beror på och vi väger in den informationen i vår analys. Novus presenterar förändringen mellan två mättillfällen. Det kan vara så att en förändring inom felmarginalen bekräftas av annan data, händelser eller undersökningar som Novus har gjort. Att tolka undersökningar är en analys av sannolikheter och ett kvalificerat arbete som inte står och faller med en specifik siffra. Så fråga din Novus konsult kring analysen av resultatet. Det är i regel det mest relevanta som refereras till i dem.

Varför behövs det 1000 svar?

Det behövs inte 1000 svar, sanningen är att det beror på. Det sker inget magiskt vid 1000 svar. Antal svar är beroende på hur pålitligt man vill att resultatet skall vara, även 1000 svar ger en viss felmarginal. I regel så innebär 1000 svar att man kan bryta ned undersökningen på undergrupper, till exempel säga något om vad män tycker, eller en viss åldersgrupp. Antalet svar som behövs för att kunna säkerställa att resultatet beror på flera parametrar, till exempel nivån, populationens storlek och vad det skall användas till. Det bästa är att man frågar oss vid osäkerhet inför en undersökning. Och är det en självrekryterad panel så spelar det ingen roll om man ens har 10 000 eller 100 000 svar, det går inte att säga något om korrektheten i undersökningen oavsett antal intervjuer. Urvalet måste vara slumpmässigt från hela gruppen man vill undersöka.

Telefon - eller webbundersökning?

En Novus-undersökning ska man kunna lita på

Man skulle kunna säga att grunden i alla undersökningar, lite förenklat, är slumpen. George Gallup byggde grunden för hela branschen i och med presidentvalet 1936. Gallup fick mycket uppmärksamhet när han förutsåg att Franklin Roosevelt skulle vinna över Alf Landon i valet – ett resultat som gick helt emot det Literary Digest förutspådde, nämligen att Landon skulle vinna. Literary Digest hade i sin undersökning tillfrågat 2 miljoner människor, George Gallup endast 50 000. Gallup fick rätt. Hur gick detta till? (Källa)

Det Gallup gjorde var att låta slumpen avgöra vem som skulle bli tillfrågad i undersökningen. Genom att fråga en liten grupp kunde han då ändå dra slutsatser kring hur hela amerikanska folket tyckte, eftersom slumpen lite förenklat gör att alla har känd sannolikhet att delta i undersökningen. Inget särintresse får ett oproportionerligt inflytande i undersökningen.

Samma sak gäller i dag. I alla undersökningar, förutom så kallade totalundersökningar (där samtliga i populationen ingår), krävs ett slumpmässigt urval för att resultatet ska bli tillförlitligt.

Telefon eller webbundersökning? Urvalet är centralt

Novus använder alltid den metod som är bäst för ändamålet. Dock pågår det i dag en publik debatt kring vad som är bäst, webb eller telefon.

Svaret är att det beror på. Tyvärr leder frågan ibland till en något snedvriden debatt som ofta består av två delar – metod och urval.

Metodmässigt är webbundersökningar i många fall bättre. För det första undviker man risken för s.k. intervjuareffekter. Detta kan tex uppstå när man blir uppringd och ombeds svara på känsliga frågor, då det finns en risk att svaret påverkas eftersom man pratar med en annan människa, eller så kanske intervjuaren ringer vid ett dåligt tillfälle. Rent tekniskt är webb då bättre eftersom man kan undvika denna typ av intervjuareffekter. En webbenkät är neutral, man kan svara på formuläret på en webbsida när man har tid, och man behöver inte oroa sig för att svara på känsliga frågor inför en människa. Har respondenten möjlighet att svara när han eller hon har tid ökar man även möjligheten att enkäten besvaras i lugn och ro.

Dock är dessa intervjuareffekter inte alltid särskilt påtagliga, i regel har de en liten inverkan på resultatet förutsatt att man använder professionella intervjuare. Novus anlitar alltid seriösa intervjuare och på så sätt hålls eventuella intervjuareffekter nere på ett minimum.

Ur ett metodhänseende kan det ju alltså tyckas att man alltid borde föredra webbundersökningar, men här kommer den viktigaste delen in: urvalet.

När man genomför webbundersökningar skickar man oftast ut ett e-mail med en länk till en webbsida till de personer som ska ingå i undersökningen. Dock finns inga nationella e-mailregister på samma sätt som det finns register för telefonnummer. Om man vill genomföra en undersökning med svenska folket kan man alltså inte hitta deras e-mailadresser som man hade kunnat hitta telefonnummer i telefonkatalogen.

Detta låter ju mycket komplicerat, ja rent av omöjligt. Hur går man då tillväga?

Som beskrivet i början av texten är slumpen grunden i alla undersökningar. Att få fram ett slumpmässigt urval på telefon är relativt enkelt, i stort sett alla har en telefon och ett telefonnummer i Sverige, men med e-mailadresser är det däremot svårare. Detta borde ju med andra ord tala för att undersökningar i regel bör genomföras på telefon.

För att komma runt detta behöver vi som undersökningsföretag bygga upp egna register med e-mailadresser, det vill säga en webbpanel. Det är här vi börjar komma till kärnpunkten. En webbpanel i Sverige kan dock i praktiken aldrig bestå av alla svenskar. Därför är det ytterst viktigt att den panel man bygger ändå bildar ett minisverige på alla sätt det är möjligt. Det räcker inte att täcka in enbart de mest uppenbara pusselbitarna – en motsvarande mängd kvinnor, män, stockholmare, skåningar och så vidare – utan även olika typer av värderingar.

Låt oss återgå till slumpen som grund i alla undersökningar.

På Novus använder vi just slumpen för att bygga ett sådant minisverige. Vi väljer slumpmässigt ut svenskar som blir tillfrågade om de vill delta i vår webbpanel. På så sätt minimerar vi risken för skevheter. Man kan inte själv aktivt söka upp oss för att gå med i vår panel, man måste bli utvald. På så sätt så gör vi allt vi kan för att bygga upp ett minisverige som representerar det riktiga Sverige på alla sätt.

Det finns andra undersökningsföretag som istället använder öppna (självrekryterade) paneler dit man kan anmäla sig själv. Genom annonsering, banners och olika typer av samarbeten med kundgrupper bygger man upp sin panel för att få den så stor som möjligt. Ett vanligt argument bakom metoden är att många olika ”insamlingsställen” och en stor panel jämnar ut eventuella skevheter i åsikter.

Men är det så att felen jämnar ut sig om man har flera olika källor, som alla är självrekryterade?

Det finns väldigt lite forskning kring hur man bygger upp en tillförlitlig webbpanel som är representativ för svenska folket. Av denna anledning genomförde vi själva en studie.

I studien jämförde vi åtta olika paneler, varav en var Novus egna webbpanel Sverigepanelen. Övriga intervjuer köptes in från våra konkurrenters motsvarande paneler.

Resultaten är entydiga: för att undvika snedvridningar i resultatet måste man bygga upp en panel via slumpmässig rekrytering.

Hela studien finns att läsa här

I korthet visade studien att medlemmar i självrekryterade paneler jämfört med slumpmässigt rekryterade:

  • Svarar 20% snabbare
  • Får många fler undersökningar, upp till 20 undersökningar i månaden
  • Drivs av belöning
  • Drivs av tidsfördriv
  • Vill påverka i högre omfattning, och drivs av en ideologi

Hur man bygger upp panelen är alltså en del. Två andra viktiga delar vi på Novus beaktar är hur många undersökningar våra panelmedlemmar bjuds in till. I Novus panel besvarar medlemmarna i genomsnitt en till två undersökningar i månaden. Vi strävar också efter att hålla undersökningarna korta och intressanta – vi brukar säga att det ska ta lika långt tid att svara på en underökning som det tar att dricka en kopp kaffe. På så sätt får vi så korrekta svar som möjligt.

I vår studie kan vi se att medlemmarna i självrekryterade paneler får upp till 20 undersökningar i månaden. Detta ökar risken för att man blir s.k. ”proffstyckare”. Tecken på det är att man svarar snabbare på frågorna (20% snabbare i vår studie), men också att man förflyttar sig åsiktsmässigt.

Men paneler där panelisterna får ett stort antal undersökningar varje månad drar också ned deltagarfrekvensen i varje enskild undersökning. Endast de panelister som är väldigt motiverade klarar av att svara på ett stort antal undersökningar.

Dessa delar är egentligen inte främst kopplade till rekryteringen, utan snarare mekanismerna bakom. Om man vill bygga upp en panel så billigt som möjligt så vill man kanske också nyttja den så mycket som möjligt. Har man redan tummat på pålitligheten i ett tidigt skede genom att inte använda sig av ett slumpmässigt urval, är steget inte så långt till att också se till att få in så mycket svar som möjligt på en begränsad grupp. Man kan öka marginalen och sänka priset samtidigt. Detta sker dock alltid på bekostnad av kvaliteten i undersökningar. Man kan helt enkelt inte lita på svaren.

Detta var ett kort nedslag i vikten av korrekta urval. Minst lika viktigt är dock att frågorna i undersökningen är korrekt formulerade och inte ledande, något som kräver den långa erfarenhet och kompetens som vi på Novus har.

Med en Novusundersökning lovar vi att du kan lita på svaren. Genom att vi väljer den metod och det urval som lämpar sig bäst kan du som kund alltid vara säker på att resultatet i undersökningen stämmer med den grupp du vill undersöka.

Ringer Novus endast fasta telefonnummer i undersökningar?

Nej, vi ringer inte bara fasta telefoner, vi ringer till både till fasta- och mobiltelefonnummer. Det är så att vi har ett så kallat individurval, där vi söker namngivna personer som är slumpmässigt utvalda bland svenska folket att svara på våra undersökningar. Sen är just telefonundersökningar på nedåtgående. Vi gör mycket fler webbundersökningar i vår slumpmässigt rekryterade webbpanel än vi genomför telefonundersökningar. Men till vår webbpanel så rekryterar vi via telefon, fast och mobilt, och har man inget registrerat telefonnummer så får man ett vykort med en inbjudan från oss.

Men val av metod, telefon, webb, postalt, besök mm. beror helt på undersökning, vi väljer den metod som är bäst lämpad.

Hur ska man tolka resultaten i olika undersökningar?

Det genomförs och publiceras idag en stor mängd undersökningar, genomförda av en rad olika aktörer som använder olika metoder – exempelvis telefon, webbpaneler baserade på slumpmässig rekrytering eller självrekrytering, online communities eller webbfrågor på en sajt.

Men hur är det med resultaten? Mäter undersökningen det som den säger sig mäta? Det kan vara svårt för den som inte är insatt att förstå kvalitetsskillnaderna i olika undersökningar. Samtidigt är trovärdigheten helt avgörande för undersökningsbranschen.

Exemplet Hemmafruar

Sajten familjeliv.se genomförde nyligen en undersökning bland medlemmar på sajten. I undersökningen svarar 45 procent att de skulle vilja vara hemmafru om de fick möjlighet. Undersökningen baserades på 9 500 svar från 70 000 medlemmar. Med rubriken ”Hälften av kvinnorna vill vara hemmafru” fick undersökningen stort genomslag i media, inklusive TV, radio och tidningar. Detta genererade enormt mycket PR för sajten, men gav också Familjeliv en bra bild över medlemmarnas inställning i denna fråga.

Aftonbladet ställde samma dag en webbfråga på sin hemsida och resultatet visade att en stor del av läsare håller med familjelivs medlemmar. När drygt 18 000 kvinnor svarat på frågan om de ville bli hemmafru var resultatet att 55 procent svarat ja, vilket är en insikt för Aftonbladet när det gäller besökarnas engagemang i denna fråga.

Följande dag genomförde Novus en undersökning som visar att drygt var fjärde man (27 procent) i yrkesverksam ålder svarat att han skulle kunna tänka sig att vara hemmaman. Något fler kvinnor i samma målgrupp har svarat att de skulle vilja vara hemmafru (29 procent). Undersökningen genomfördes som en webbundersökning med svenska allmänheten i Novus Sverigepanel den 26-27 oktober 2011. 1 002 personer i yrkesverksam ålder besvarade undersökningen. Deltagarfrekvensen var 50 %. Frågeställning: ”Skulle du vilja vara hemmafru/hemmaman om du fick möjlighet?”, svarsalternativ, ”Ja”, ”Nej”, ”Vet ej”.

Sammanfattningsvis visar dessa undersökningar följande:

  • Familjeliv: NÄSTAN HÄLFTEN …
  • Aftonbladet: DRYGT HÄLFTEN …
  • Novus: EN DRYG FJÄRDEDEL …

… skulle vilja vara hemmafru.

Ingen av resultaten är felaktiga men det saknas en mycket viktig information nämligen följande: Resultaten i Familjelivs undersökning speglar familjelivs medlemmars åsikt och Aftonbladets resultat speglar åsikten bland de som besvarat denna fråga på aftonbladet.se. Resultatet i Novus undersökning speglar åsikten bland den svenska allmänheten i yrkesverksam ålder.

Det behövs en faktagranskning av slutsatserna i många publicerade undersökningar. I dag är detta ett stort problem i undersökningsbranschen och för dess trovärdighet.

Som man frågar får man svar eller i detta fall vem man frågar så får man svar och dessa skiljer sig ibland åt markant.

Med hopp om att fler engagerar sig i kampen mot bristfälliga undersökningar. Vare sig det gäller kvalitet eller tolkning av resultaten.

Jag vill ha Novus nyhetsbrev, min e-post är