Telefon eller Webb, urvalet är centralt

En Novusundersökning ska man kunna lita på

Man skulle kunna säga att grunden i alla undersökningar, lite förenklat, är slumpen. George Gallup byggde grunden för hela branschen i och med presidentvalet 1936. Gallup fick mycket uppmärksamhet när han förutsåg att Franklin Roosevelt skulle vinna över Alf Landon i valet – ett resultat som gick helt emot det Literary Digest förutspådde, nämligen att Landon skulle vinna. Literary Digest hade i sin undersökning tillfrågat 2 miljoner människor, George Gallup endast 50 000. Gallup fick rätt. Hur gick detta till? (Källa)

Det Gallup gjorde var att låta slumpen avgöra vem som skulle bli tillfrågad i undersökningen. Genom att fråga en liten grupp kunde han då ändå dra slutsatser kring hur hela amerikanska folket tyckte, eftersom slumpen lite förenklat gör att alla har känd sannolikhet att delta i undersökningen. Inget särintresse får ett oproportionerligt inflytande i undersökningen.

Samma sak gäller i dag. I alla undersökningar, förutom så kallade totalundersökningar (där samtliga i populationen ingår), krävs ett slumpmässigt urval för att resultatet ska bli tillförlitligt.

Telefon eller webbundersökning?

Novus använder alltid den metod som är bäst för ändamålet. Dock pågår det i dag en publik debatt kring vad som är bäst, webb eller telefon.

Svaret är att det beror på. Tyvärr leder frågan ibland till en något snedvriden debatt som ofta består av två delar – metod och urval.

Metodmässigt är webbundersökningar i många fall bättre. För det första undviker man risken för s.k. intervjuareffekter. Detta kan tex uppstå när man blir uppringd och ombeds svara på känsliga frågor, då det finns en risk att svaret påverkas eftersom man pratar med en annan människa, eller så kanske intervjuaren ringer vid ett dåligt tillfälle. Rent tekniskt är webb då bättre eftersom man kan undvika denna typ av intervjuareffekter. En webbenkät är neutral, man kan svara på formuläret på en webbsida när man har tid, och man behöver inte oroa sig för att svara på känsliga frågor inför en människa. Har respondenten möjlighet att svara när han eller hon har tid ökar man även möjligheten att enkäten besvaras i lugn och ro.

Dock är dessa intervjuareffekter inte alltid särskilt påtagliga, i regel har de en liten inverkan på resultatet förutsatt att man använder professionella intervjuare. Novus anlitar alltid seriösa intervjuare och på så sätt hålls eventuella intervjuareffekter nere på ett minimum.

Ur ett metodhänseende kan det ju alltså tyckas att man alltid borde föredra webbundersökningar, men här kommer den viktigaste delen in: urvalet.

När man genomför webbundersökningar skickar man oftast ut ett e-mail med en länk till en webbsida till de personer som ska ingå i undersökningen. Dock finns inga nationella e-mailregister på samma sätt som det finns register för telefonnummer. Om man vill genomföra en undersökning med svenska folket kan man alltså inte hitta deras e-mailadresser som man hade kunnat hitta telefonnummer i telefonkatalogen.

Detta låter ju mycket komplicerat, ja rent av omöjligt. Hur går man då tillväga?

Som beskrivet i början av texten är slumpen grunden i alla undersökningar. Att få fram ett slumpmässigt urval på telefon är relativt enkelt, i stort sett alla har en telefon och ett telefonnummer i Sverige, men med e-mailadresser är det däremot svårare. Detta borde ju med andra ord tala för att undersökningar i regel bör genomföras på telefon.

För att komma runt detta behöver vi som undersökningsföretag bygga upp egna register med e-mailadresser, det vill säga en webbpanel. Det är här vi börjar komma till kärnpunkten. En webbpanel i Sverige kan dock i praktiken aldrig bestå av alla svenskar. Därför är det ytterst viktigt att den panel man bygger ändå bildar ett minisverige på alla sätt det är möjligt. Det räcker inte att täcka in enbart de mest uppenbara pusselbitarna – en motsvarande mängd kvinnor, män, stockholmare, skåningar och så vidare – utan även olika typer av värderingar.

Låt oss återgå till slumpen som grund i alla undersökningar.

På Novus använder vi just slumpen för att bygga ett sådant minisverige. Vi väljer slumpmässigt ut svenskar som blir tillfrågade om de vill delta i vår webbpanel. På så sätt minimerar vi risken för skevheter. Man kan inte själv aktivt söka upp oss för att gå med i vår panel, man måste bli utvald. På så sätt så gör vi allt vi kan för att bygga upp ett minisverige som representerar det riktiga Sverige på alla sätt.

Det finns andra undersökningsföretag som istället använder öppna (självrekryterade) paneler dit man kan anmäla sig själv. Genom annonsering, banners och olika typer av samarbeten med kundgrupper bygger man upp sin panel för att få den så stor som möjligt. Ett vanligt argument bakom metoden är att många olika ”insamlingsställen” och en stor panel jämnar ut eventuella skevheter i åsikter.

Men är det så att felen jämnar ut sig om man har flera olika källor, som alla är självrekryterade?

Det finns väldigt lite forskning kring hur man bygger upp en tillförlitlig webbpanel som är representativ för svenska folket. Av denna anledning genomförde vi själva en studie.

I studien jämförde vi åtta olika paneler, varav en var Novus egna webbpanel Sverigepanelen. Övriga intervjuer köptes in från våra konkurrenters motsvarande paneler.

Resultaten är entydiga: för att undvika snedvridningar i resultatet måste man bygga upp en panel via slumpmässig rekrytering.

Hela studien finns att läsa här

I korthet visade studien att medlemmar i självrekryterade paneler jämfört med slumpmässigt rekryterade:

• Svarar 20% snabbare
• Får många fler undersökningar, upp till 20 undersökningar i månaden
• Drivs av belöning
• Drivs av tidsfördriv
• Vill påverka i högre omfattning, och drivs av en ideologi

Hur man bygger upp panelen är alltså en del. Två andra viktiga delar vi på Novus beaktar är hur många undersökningar våra panelmedlemmar bjuds in till. I Novus panel besvarar medlemmarna i genomsnitt en till två undersökningar i månaden. Vi strävar också efter att hålla undersökningarna korta och intressanta – vi brukar säga att det ska ta lika långt tid att svara på en underökning som det tar att dricka en kopp kaffe. På så sätt får vi så korrekta svar som möjligt.

I vår studie kan vi se att medlemmarna i självrekryterade paneler får upp till 20 undersökningar i månaden. Detta ökar risken för att man blir s.k. ”proffstyckare”. Tecken på det är att man svarar snabbare på frågorna (20% snabbare i vår studie), men också att man förflyttar sig åsiktsmässigt.

Men paneler där panelisterna får ett stort antal undersökningar varje månad drar också ned deltagarfrekvensen i varje enskild undersökning. Endast de panelister som är väldigt motiverade klarar av att svara på ett stort antal undersökningar.

Dessa delar är egentligen inte främst kopplade till rekryteringen, utan snarare mekanismerna bakom. Om man vill bygga upp en panel så billigt som möjligt så vill man kanske också nyttja den så mycket som möjligt. Har man redan tummat på pålitligheten i ett tidigt skede genom att inte använda sig av ett slumpmässigt urval, är steget inte så långt till att också se till att få in så mycket svar som möjligt på en begränsad grupp. Man kan öka marginalen och sänka priset samtidigt. Detta sker dock alltid på bekostnad av kvaliteten i undersökningar. Man kan helt enkelt inte lita på svaren.

Detta var ett kort nedslag i vikten av korrekta urval. Minst lika viktigt är dock att frågorna i undersökningen är korrekt formulerade och inte ledande, något som kräver den långa erfarenhet och kompetens som vi på Novus har.

Med en Novusundersökning lovar vi att du kan lita på svaren. Genom att vi väljer den metod och det urval som lämpar sig bäst kan du som kund alltid vara säker på att resultatet i undersökningen stämmer med den grupp du vill undersöka.