När du beställer en undersökning är en av de viktigaste frågorna sällan den som ställs först: hur rekryterades respondenterna?

Svaret avgör om resultatet speglar verkligheten eller en skev bild av den.

Vad händer när respondenter väljer sig själva?

I ett självrekryterat urval, ofta kallat opt-in, anmäler respondenterna själva sitt intresse att delta. Det kan ske via en annons, en länk i sociala medier eller en rekryteringssida. Det låter praktiskt, men det skapar ett systematiskt problem redan från start.

Den som klickar och anmäler sig är inte ett representativt tvärsnitt av målgruppen. Det är den mest engagerade, den mest åsiktsstarka och ofta den med ett uttalat intresse för ämnet. Den tysta majoriteten, som inte söker upp undersökningar på eget initiativ, syns inte i resultatet.

Det innebär att resultatet mäter vad de mest motiverade tycker, inte vad målgruppen som helhet tycker. Det är en viktig skillnad när siffrorna ska ligga till grund för ett beslut.

Problemen går inte att vikta bort

En vanlig invändning är att demografisk viktning löser representativitetsproblemet. Men det stämmer inte. I självrekryterade undersökningar kan respondenterna uppge fel ålder, kön och geografisk plats, och det finns inget sätt att verifiera att uppgifterna stämmer. Det underlag som viktningen utgår från är med andra ord inte tillförlitligt från början.

Men låt oss anta att uppgifterna stämde. Viktning kan korrigera för att för få personer i en viss åldersgrupp svarade, men den kan inte korrigera för att de som svarade inom den gruppen är ovanligt engagerade och åsiktsstarka jämfört med genomsnittet. De representerar inte sin grupp, de representerar den del av gruppen som aktivt valde att delta. Det är en avgörande skillnad.

Dessutom är det svårare att verifiera vem som faktiskt svarar i en öppen panel. Det förekommer att samma person svarar flera gånger under olika alias. Och eftersom urvalet inte är slumpmässigt går det inte att beräkna en meningsfull felmarginal, vilket innebär att det är omöjligt att bedöma med vilken säkerhet resultaten faktiskt gäller.

Vad Novus jämförande studie visade

Novus har genomfört Sveriges största jämförande studie mellan olika webbpaneler och telefonintervjuer. Totalt genomfördes cirka 8 000 intervjuer med samma frågeformulär i sex paneler och två telefonurval.

Slutsatsen var tydlig: självrekryterade paneler uppvisar systematiska skevheter vad gäller åsikter och beteenden, och i vissa fall även grundläggande demografi. De drivkrafter som får en person att självmant gå med i en öppen panel leder till en överrepresentation av grupper med extrema åsikter och ökar risken för proffstyckarare, respondenter som svarar på så många undersökningar att svaren inte längre är spontana eller representativa.

Studien bekräftade att en slumpmässigt rekryterad, stängd panel är det säkraste sättet att få ett resultat som faktiskt speglar den svenska befolkningens åsikter (du hittar studien här).

Vad slumpmässigt urval innebär i praktiken

I ett slumpmässigt urval kommer initiativet alltid från undersökaren. Novus rekryterar sina paneldeltagare från folkbokföringen, vilket innebär att alla folkbokförda i Sverige ingår i underlaget och att de demografiska uppgifterna är verifierade. Viktningen utgår därmed från korrekta uppgifter och korrigerar för rätt saker. Ingen kan ansöka om att delta, och urvalet sker av slumpen baserat på ålder, kön och geografisk plats.

Det ger åsiktsmässig representativitet, inte bara demografisk. Och det gör det möjligt att beräkna en felmarginal, alltså ett mått på hur säkra resultaten faktiskt är.

Det spelar roll även för interna beslut

Det är lätt att tänka att representativitet framför allt är viktigt för politiska opinionsundersökningar som publiceras i media. Men de allra flesta undersökningar genomförs för att ligga till grund för interna beslut, om produktutveckling, prissättning, kommunikation eller marknadsföring.

Skevheterna i självrekryterade paneler gäller oavsett syfte. Reklamkännedom, produktmätningar och kundbeteenden riskerar att bli lika missvisande som en väljarundersökning om metoden inte håller. Ett beslut som fattas på ett icke-representativt underlag är ett beslut fattat på fel grund, oavsett hur många som svarade.

Sammanfattning

Självrekryterat urval ger varken demografisk eller åsiktsmässig representativitet, och det går inte att beräkna en meningsfull felmarginal. Slumpmässigt urval, med rekrytering via folkbokföringsregistret, ger verifierade uppgifter, tillförlitliga resultat och möjlighet att bedöma säkerheten i siffrorna. Skillnaden är inte teknisk, den är affärsmässig.