Att förstå unga är avgörande för framtidens beslut. Men det är just här, i undergruppen unga, som de största metodutmaningarna döljer sig. Trots att många paneler utmålas som slumpmässigt rekryterade, döljer sig ofta en problematik med genvägar som kan skapa en skev bild av verkligheten.

Hybridpaneler och dold självrekrytering

Eftersom det är dyrt och svårt att nå unga via slumpmässiga urval tar många institut till lösningar som i praktiken skapar hybridpaneler. Detta sker ofta genom:

• Sociala medier-annonsering: När paneler fylls på via annonser når man bara de unga som vid ett besök på en sajt fångas upp av en specifik algoritm.
• Studentrabatter som lockbete: Att rekrytera via exempelvis studentkanaler ger en bias – en skev bild av målgruppen. Man når högskolestuderande, men missar till exempel den stora grupp unga som arbetar eller är arbetssökande.

Slitage och sämre datakvalitet

När dessutom efterfrågan på unga respondenter är större än tillgången blir det ett stort slitage på panelmedlemmarna för de institut som saknar strikta ”karantänsregler”. Ett exempel är en student i min närhet som fick 28 inbjudningar under sin första månad som panelmedlem hos ett annat undersökningsföretag. Risken är mycket stor att dessa personer antingen tröttnar helt eller börjar snabbklicka sig igenom undersökningar för att bli klara, utan att faktiskt kolla på frågorna.

Varför är detta ett stort problem?

Även om skillnader i olika mätningar inte alltid syns på totalnivå visar Novus parallellstudier mellan slumpmässigt rekryterade och själrekryterade paneler att problemen kan bli mycket stora när vi jämför resultatet i undergrupper. Även Pew Research Center understryker att självrekryterade paneler kan vara särskilt problematiska vid analyser av specifika segment som unga.

Stort genomslag för felaktiga data: Eftersom unga ofta är en mindre del av det totala urvalet, får svar från ett fåtal ”fuskare” eller bottar ett oproportionerligt stort genomslag.

Viktning räddar inte detta: Statistisk viktning kan aldrig korrigera för skeva urval eller fabricerade/bristfälliga grunddata. Skräp in förblir skräp ut.

Beslut på fel grunder

Om vi baserar samhällsdebatt eller affärsbeslut på ett underlag som inte är korrekt riskerar vi att fatta beslut på helt fel grunder. Det är hög tid att vi inte bara granskar kvaliteten på totalnivå utan även börjar granska kvaliteten i undergrupperna – särskilt när det gäller de unga som ska forma vår framtid.

Mikael Ohlsson
Forsknings- och kvalitetsansvarig, Novus.