Vi måste slå hål på myterna kring bortfallet

Det finns faktiskt inga fasta nivåer på bortfallet som talar om att det är bättre eller sämre. Det finns ingen förutom undersökningsföretaget själva som kan avgöra om bortfallet i en undersökning är OK eller inte.

Allt står och faller på att undersökningsföretaget gör sitt jobb och har yrkesheder. Precis som allt det vi gör.

Denna text gäller undersökningar mot ett slumpmässigt urval man dragit från Svenska folket. När det gäller paneler kan bortfallet lätt bli systematiskt och det är viktigt att så många som möjligt svarar, annars riskerar man att få aktivist beteende som slår igenom.

Ett systematiskt bortfall kan vara förödande för tillförlitligheten kring en undersökning. Ta t.ex. om du skall undersöka hantverkare, de som svarar snabbast i telefon är de som inte har något att göra, det kan lätt ge en riktigt skev bild av hantverkarnas syn på det mesta. Detta är ju uppenbart när man tänker på det. Som med det mesta är teorierna rätt självklara.

MEN här kommer sedan det som blir lite konstigt, där många försöker skapa en helt missvisande bild. OM andelen som svarar är låg betyder det inte automatiskt att det är ett systematiskt bortfall. Det är faktiskt så att i USA pekar allt forskning jag sett på att bortfallet faktiskt är slumpmässigt. Där har bortfallet varit över 90 % i många år. Alltså för att få ihop 1000 intervjuer behöver man kontakta ca 10 000 personer.

Även om vissa grupper är svårare att nå än andra så betyder det INTE att resultatet inte är representativt för hela befolkningen. Bortfallet har i dessa studier visat sig vara slumpmässigt. Alltså de som inte svarar tycker inte markant annorlunda jämfört med de som svarar. Då spelar inte bortfallet så stor roll.

Men det kan också vara så att om varannan svarar så kan man fortfarande ha ett systematiskt bortfall. T.ex. om man bara ringer fasta telefonnummer, då har man ju inte längre hela befolkningen som urval längre. Något vi så klart slutade med för mycket längesen, vi ringer så klart både fasta och mobila telefonnummer. Även om vi har konkurrenter som fortfarande försöker fördumma de som gör detta, i en falsk förhoppning att lyfta sig själva genom att komma med direkta felaktigheter.

Men det betyder inte att bortfallet är ointressant. Det är jätteviktigt att datainsamlaren gör det den kan för att få tag på de man slumpmässigt valt ut. OM bortfallet är högt pga att man bara ringer vidare en efter en, då skapar datainsamlaren ett systematiskt bortfall. Då blir det direkt risk för problem och bortfallet kan vara problematiskt oavsett nivån nivå på svarsfrekvensen.

Alltså alla inblandade måste göra sitt jobb. Jobb som så klart inte är gratis, precis som med allt får man vad man betalar för. Skrev lite om SCB/Evry här och vad man kan läsa sig av den skandalen. Men det går inte att sätta en nivå på bortfallet som är acceptabel eller oacceptabel.

Precis som med allt kring undersökningar måste man kunna lita på de som utför jobbet.

Läskigt men sant. Men det är ju heller ingen slump att jag tjatar om förtroende (söker man på Novus hemsida hittar man idag 129 sidor som innehåller ordet förtroende). Samt att jag tjatar om den forskning vi i sin tur baserar våra undersökningar på för att bli trovärdiga. För hur skulle vi kunna med gott samvete leverera beslutsunderlag till våra kunder om inte vi hade stöd för det i mer än bara vår egen erfarenhet. Vår kunskap och erfarenhet kommer man långt med, men vi har i sin tur metoder vi kan lita på.

Alltså det finns inget som automatiskt säger att en undersökning med 90 % bortfall är fel. Det finns heller inget som säger att en undersökning med 50 % bortfall är rätt. Utan det landar faktiskt bara för redaktioner och kunder i frågorna:

Litar jag på undersökningsföretaget?

Kan de stå för de resultat de levererar?

Man kommer inte undan förtroendet.

Sen kanske någon tänker på Demoskops debattartikel som pekar på deras egna studier att t.ex. moderater i högre omfattning skulle undvika att svara i telefon. Betänk då att deras undersökning är gjort i en självrekryterad panel. Alltså de kom fram till en systematisk skevhet i åsikter i ett urval som inte man kan säga är representativt för svenska folkets åsikter och mycket väl kan innehålla systematiska skevheter i åsikter för att den inte är slumpmässigt rekryterad. Ja typ lite som att fråga vad man tycker om Windows på Sveriges reklamare tänker jag…. För även om Windows har ca 90% global marknadsandel så har väl Apples OS 90 % marknadsandel inom den gruppen….

Vill man verkligen kontrollera för systematiska åsiktsmässiga skevheter gör man bortfallsanalyser. Något man alltid bör göra om man misstänker att bortfallet har skevheter. Något undersökningsbranschen gjort i alla tider.

Sen betyder inte det att andelen som svarar automatiskt måste sjunka som en sten. För att minska bortfallet kan man bl.a. göra detta:

• Nummerpresentation, numret man ringer från är listat och stämmer med det företag personen säger sig ringa från
• Kombinera olika datainsamlingsmetoder, ring, SMS:a och om det behövs skicka vykort
• Förtroende, företaget som gör undersökningarna är kända och pålitliga
• Ring olika tider, t.ex. ring inte kl 17 i storstäderna, då kommer ingen svara
• Olika ringmönster till olika grupper, Äldre kan man ringa tidigare till än yngre
• Korta undersökningar, det är en enorm skillnad i svarsfrekvens på en undersökning som är 2 minuter och en som är 10.
• Bra frågor, finns det något som irriterar mer än dumma frågor? Irritation leder till bortfall och tappat förtroende
• Respekt, respektera den som skall intervjuas, annars faller det fort
• Tala sanning, säg inte att en undersökning tar 2 minuter och sedan tar den 10

Men för att sammanfatta

Om undersökningsföretaget gör sitt jobb och är pålitligt, då man kan lita på undersökningarna de levererar.

Den bistra sanningen är att det aldrig går att kontrollera på annat sätt än att man gör en massa undersökningar hos andra aktörer, om alla säger samma sak så betyder det att alla gör rätt, om de avviker är frågan om båda eller en har gjort fel. För det finns inga andra facit. Man gör undersökningar för att få fram facit i okända frågor.

Vi som undersökningsföretag har dock metoder och erfarenhet för att kunna avgöra när ett resultat ser rimligt ut eller inte. Inte till 100% men till 95 %, och i ärlighetens namn i vilka andra sammanhang kan man vara 95 % säker på något. Men man måste lite på oss, det finns inga andra genvägar. Att ställa krav på att en siffra skall vara si eller så för att det betyder att det är OK, skapar bara ett missriktat mått på något som faktiskt inte säger något alls. Och alla förenklade (fördummande) mått skapar istället en minskat fokus på det som verkligen räknas. Oberoende undersökningsföretag som tar fram kunskap man kan lita på. Kunskap som blir en viktig grund för strategiska beslut oavsett om det är i näringslivet eller i det offentliga.

Har man verkligen råd att anlita någon man inte litar på för det?

Torbjörn Sjöström

VD

Novus