Vanliga frågor och svar

Novus genomför ungefär 800 000 intervjuer om året och vi ställer många frågor. Men vi får många frågor vi också. Här är några av de aktuella frågorna:

Vad är en undersökning?

En undersökning är en process eller aktivitet för att skaffa sig kunskap.
Det är precis så man skall se på det. Den kunskap Novus bidrar med utgår från åsikter i olika frågor där vi hjälper våra kunder att förstå vad bland annat allmänheten, medlemmar eller kunder tycker. Men det startar och stannar inte vid bara att samla in svar.

En undersökning består av dessa delar:
• Definiera området som skall undersökas och formulera relevanta frågor
• Insamling av svar
• Rapportering och Analys av resultatet

Alla steg krävs för att säkerställa att våra kunder kan skaffa sig den kunskap de behöver.


Går det verkligen undersöka nu för tiden?

Ja absolut, en undersökning från Novus är pålitlig och ger en korrekt bild kring det ämne som man vill undersöka inom den omfattning vi säger. Däremot måste man ha i åtanke att det finns en felmarginal och ett konfidensintervall. Skall man bli teknisk så är i regel våra undersökningar korrekta i 95% av fallen och resultatet är inom ett spann som definieras av felmarginalen. Till exempel om en undersökning säger att 57 % tycker om glass, så innebär det att med 95 % sannolikhet så tycker 57% om glass plus minus den angivna felmarginalen. Så egentligen är det viktigaste att man också läser på lyssnar på våra analyser, dessa är viktiga för att förstå vad undersökningen egentligen säger, tyvärr i media glöms dessa analyser ofta bort, något som vi försöker jobba med gentemot redaktionerna. En undersökning är inte bara en siffra som ger lite nyhetsvärde. Analysen är viktigare för att förstå vad en undersökning faktiskt säger och inte säger.


Är undersökningen statistiskt signifikant?

En fråga som vi får lite för ofta, men den går inte att svara på. Signifikans eller statistiskt säkerställd förändring används när man jämför två underökningar mellan varandra. Är förändringen statistiskt säkerställd så innebär det att man med 95 % säkerhet kan säga att det har hänt något från ett undersökningstillfälle till ett annat. Men det är också så att även om det inte är statistiskt säkerställt så kan det ändå ha hänt något. Och vänder man på det, trots att det är statistiskt säkerställt, så kan det vara orsaken av ett mätfel. Så det viktigaste är att läsa och lyssna på analysen av undersökningen. Novus konsulter har inte bara koll på statistiken vi har även sakkunskap om ämnet och kan göra kvalificerade analyser kring resultatet. Sedan använder vi statistiska modeller för att kunna göra bättre analyser, men det är bättre att vi gör vårt jobb och ger så bra analyser som möjligt än att någon utomstående tittar på en siffra om kommer med en oinitierad analys.


Men alla förändringar är inom felmarginalen då har det väl inte hänt något?

Det beror på och vi väger in den informationen i vår analys. Novus presenterar förändringen mellan två mättillfällen. Det kan vara så att en förändring inom felmarginalen bekräftas av annan data, händelser eller undersökningar som Novus har gjort. Att tolka undersökningar är en analys av sannolikheter och ett kvalificerat arbete som inte står och faller med en specifik siffra. Så fråga din Novus konsult kring analysen av resultatet. Det är i regel det mest relevanta som refereras till i dem.


Varför behövs det 1000 svar?

Det behövs inte 1000 svar, sanningen är att det beror på. Det sker inget magiskt vid 1000 svar. Antal svar är beroende på hur pålitligt man vill att resultatet skall vara, även 1000 svar ger en viss felmarginal. I regel så innebär 1000 svar att man kan bryta ned undersökningen på undergrupper, till exempel säga något om vad män tycker, eller en viss åldersgrupp. Antalet svar som behövs för att kunna säkerställa att resultatet beror på flera parametrar, till exempel nivån, populationens storlek och vad det skall användas till. Det bästa är att man frågar oss vid osäkerhet inför en undersökning.
Och är det en självrekryterad panel så spelar det ingen roll om man ens har 10 000 eller 100 000 svar, det går inte att säga något om korrektheten i undersökningen oavsett antal intervjuer. Urvalet måste vara slumpmässigt från hela gruppen man vill undersöka.


SCB säger att bortfallet är det största problemet med undersökningar, är det så?

SCB skrev i sin årsredovisning att bortfallet var det största hotet mot deras verksamhet, och alla som någon gång skrivit en årsredovisning vet att revisorerna vill att man skriver om möjliga affärshot, oavsett risken för dessa. Det är sant att bortfallet är större nu än det var för 20 år sedan. Färre svarar i telefon. Men trots så svarar varannan tillfrågad på Novus telefonundersökningar, och på Novus webbundersökningar så svarar i regel 6 av 10. Bortfallet i Sverige är inte ett överhängande problem. Det finns även studier i USA där bara 1 av 10 svarar på en telefonundersökning att resultatet trots det stämmer överens med hela befolkningens åsikter. Men utmaningen i USA är helt annorlunda. Till exempel existerar det inga bra register för mobilnummer där. Å alla vet ju att man inte bara kan ringa till fasta telefoner.


Jag har hört att ni bara ringer fasta telefonnummer, det låter ju jättedumt.

Ja det låter ju väldigt dumt, å vi är inga dumskallar så självklart ringer vi inte bara fasta telefoner. Vi ringer både till fasta- och mobiltelefonnummer. Det är faktiskt så att vi har ett så kallat individurval, där vi söker namngivna personer som är slumpmässigt utvalda bland svenska folket att svara på våra undersökningar. Sen är just telefonundersökningar på nedåtgående. Vi gör mycket fler webbundersökningar i vår slumpmässigt rekryterade webbpanel än vi genomför telefonundersökningar. Men till vår webbpanel så rekryterar vi via telefon, fast och mobilt, och har man inget registrerat telefonnummer så får man ett vykort med en inbjudan från oss.

Men val av metod, telefon, webb, postalt, besök mm. beror helt på undersökning, vi väljer den metod som är bäst lämpad.


Kan man få gå med i er panel? Jag har gått med i några andra och det är kul att svara på frågor

Vad kul att du är intresserad men, nej tyvärr du kan inte ansöka om att vara med. Grunden i alla undersökningar är att man skall bli slumpmässigt utvald. Skulle vi bara fråga de som sökte upp oss så kan vi inte säkerställa att svaren stämmer överens med svenska folkets åsikter. Det är inte individens svar som är viktigt som sådant utan att svaret representerar en större grupp, till exempel att 500 svar från kvinnor representerar alla kvinnors åsikt i den fråga vi ställer.

Det finns många exempel på hur det skulle kunna missbrukas om vi bara ställde frågor till personer som själva sökt upp oss. Som exempel skulle kunna vara att en idrottsklubb tänker att de kan gå med i en panel för att samla in belöningar till klubben. Detta skulle bli en snedvridning i resultatet då många av samma eller liknande målgrupp svarar på frågorna. För att det skall fungera så måste alla vi frågar vara slumpmässigt utvalda.


Med all big data som finns behövs väl inte undersökningar längre?

Big data betyder i praktiken att man har väldigt stora datamängder oftast inom ett begränsat område. De största globala IT företagen som Google, Microsoft och Facebook är väl de man tänker på främst. Tanken är att man utifrån denna passiva data skall kunna förutsäga något mer. Och det funkar ibland inom väldefinierade områden. Google har varit mycket duktiga på att koppla ihop sökmönster med influensaspridning, ett väldefinierat område där man lätt kan koppla ihop förändringar i ett beteende med en sjukdomsspridning. Men området är alltid begränsat och man kan inte ta vilken data som helst och applicera på vad som helst. Till exempel går det inte att utifrån Twitter förutsäga valresultatet i ett land, inte ens om man räknar baklänges en gång så kan man vara säker på att det fungerar i nästa val. Data förändras hela tiden. Och att genom passiv datainsamling tro att man kan lösa alla problem är, förutom att man lurar sig själv på kuppen, ett omöjligt mål att uppnå.

Däremot använder Novus så kallad big data som en del i sin analys. Novus utgår alltid från undersökningar där vi frågar människor, men det kompletteras med andra kända fakta eller beteende. Allt kan man inte fråga om, precis som man inte kan mäta allt utan att fråga.

En annan utmaning med big data även inom de områden där de skulle kunna vara bra, är att bara för att data finns betyder inte det att man kommer åt den lätt. Det är helt upp till de som samlar in data att göra det tillgängligt. Så det är många osäkerheter och långt ifrån så enkelt och universellt som man ofta vill få det till att vara.

Extern data är ett ypperligt komplement till att fråga, men det ena utesluter inte det andra och man måste hela tiden veta vad man gör, kompetens och förståelse är det centrala här.


Jag har hört att Facebook kommer ta över undersökningsbranschen, stämmer det?

Ja vi har hört det också, tänk vad lätt saker feltolkas. Men det visar hur dåliga vi som undersökningsföretag är på att definiera oss själva och berätta om vad vi gör. Tror man att det bara är datainsamling av 1000 svar, oavsett var de kommer ifrån så är det lätt att se Facebook, Google och Twitter som hot. Men om man verkligen förstår vad vi gör. Tar fram kunskap åt våra kunder med hjälp av intervjuer, så inser man att det dessa globala IT företag kan bistå med i form av kompletterande data är mycket intressant och det blir ytterligare verktyg som undersökningskonsulten kan använda i sitt arbete att ta fram kunskapen våra kunder efterfrågar.

Skulle det faktum att Facebook, Twitter och Google ställer ut på undersökningsbranschens mässor vara ett bevis för att de skulle vilja ta över branschen? Varför ställer man ut på en mässa? Jo för att man vill sälja till oss som är där, inte för att man vill ta över.


Det som hände i engelska valet är väl tecken på en kris i branschen?

Ja det stämmer internationellt kan man nog klassa det som en kris, men grunden i detta är kopplat till betalningsviljan. Om man inte har råd att köpa riktiga undersökningar så blir det allt sämre. Massmedia får väljarbarometrar till ett kraftigt reducerat pris, i många fall helt gratis. Det har lett till att undersökningskvalitéten blivit allt sämre. Läs mer om detta på vår blogg