Om bortfallet, när är det ett stort problem och vems problem är det?

Bortfallet, deltagarfrekvensen, kärt barn har många namn.
Det är något som forskare i transparensens namn vill att vi skall redovisa
Journalister så de känner att de är transparenta, men också för att man fått höra hur stort problem bortfallet är.

För mig som försökt sätta mig in i detta i praktiken, vi har gjort egna studier, men också tittat på en del forskning så insaer jag att bortfallsdiskussionen blivit extremt överdriven.

I grunden är det så här,

• man drar ett slumpmässigt urval av den population man vill undersöka.
• Man försöker få så många svar man kan ur gruppen man slumpmässigt valt ut.

Om det är så att man misstänker att de som inte svarar har en annorlunda åsikt än de som svarar. Alltså om man har ett systematiskt åsiktsmässigt bortfall. Ett där åsikterna man vill undersöka avviker bland de som inte svarar jämfört med de som svarar så har man ett problem med bortfallet och behöver göra en bortfallsanalys.
Men om bortfallet är slumpmässigt på åsikterna man vill undersöka så har man inte det problemet. Då blir det i praktiken förenklat endast så att man behöver fråga fler för att få in tillräckligt många svar.

Bortfallsanalys då?

En bortfallsanalys är ett magiskt väsen (skojar). Nej en bortfallsanalys innebär förenklat att man försöker få svar från ett utsnitt av de som inte svarat och man försöker tills man fått svar. Dessa svar jämförs med de som svarade i undersökningen.
I processen vid datainsamlingen utgår man också utifrån de kända fakta vi vet som varning och som ledtrådar kring de som svarar och de som inte svarar. tex ålder, kön, geografi osv. Det är inte samma sak som att bortfallet kan vara systematiskt åsiktsmässigt, men man kan använda dessa parametrar för att se om man behöver göra en bortfallsanalys. Är bortfallet snedvridet på de kända parametrarna så kan det leda till en oro att det också är snedvridet åsiktsmässigt. Men man måste samtidigt hålla isär demografisk undertäckning, och åsiktsmässig undertäckning, för det är inte alls samma sak. Demografisk undertäckning kan vara en varningsklocka som innebär att man bör göra en bortfallsanalys. Men det betyder inte att man per automatik har en åsiktsmässig skevhet.

Under tiden undersökningen genomförs kontrollerar vi att det ser normalt ut, om något avviker och vi misstänker att det kan vara problem med datainsamlingen, tex på bortfallet. Då kontrollerar vi det.

Man får inte glömma att vårt jobb är inte att samla in siffror. Vi levererar fakta och framförallt kunskap.
Är underlager felaktigt så blir ju våra slutsatser fel. Vad skulle då meningen med undersökningen vara?

Men nu har man ju hört överallt att bortfallet är ett jättestort problem tänker du?

Ja det är sant, bortfallet har utmålats som ett stort problem.

En av källorna till detta är SCBs årsredovisning som beskriver bortfallet som ett hot. Minns jag rätt så var även krig ett hot. Det var nämligen i den delen av årsredovisingen där revisorn vill att man skriver möjliga framtida risker.

Men det är sant att bortfallet kan vara ett problem, i SCBs AKU, Arbetskraftsundersökning så kan det vara vissa yrkesgrupper som man nästan aldrig får tag på.
Ja testa själv att få tag på en bra hantverkare…

Men det är inte sant att det finns en magisk gräns för bortfallet. Bortfallet uppträder faktiskt inte som man skulle kunna tro.

Är urvalet slumpmässigt och bortfallet slumpmässigt, då får man också ett slumpmässigt svarsmönster som är åsiktsmässigt representativt för hela gruppen som skall  undersökas. Slumpen är vår vän nämligen. Vilket är intuitivt mycket svårt att greppa. Att man vill ha en systematisk slumpmässighet. För det är ju så att t.ex. när vi frågar 1000 slumpmässigt utvalda svenskar så kan vi dra en slutsats kring ca 7,5 miljoner svenskar. Det är ju inte bara de tillfrågade vi kan dra slutsatser kring utan hela populationen som skall undersökas.

I USA är bortfallet uppe på över 90 % på deras väljarbarometrar. Något många tagit som en anledning att helt släppa det slumpmässiga urvalet, både i USA men många andra länder också. Mao bortfallet bedömer man vara så stort att man ger upp grunden i alla statistiska undersökningar. På mig låter det som man bestämt sig för att undersökningar inte fungerar längre alls med den retoriken.

Det kunde inte vara mer fel, tvärtom det fungerar mycket bra, men det kostar pengar, och kunskap har inte blivit gratis så klart.

I USA med över 90% bortfall så var trots det väljarundersökningar gjorde med slumpmässigt urval mot amerikanska folket de mest träffsäkra på 40 år.
Det var bara den lilla detaljen att dom mätte fel sak…. Istället för att mäta elektoralröster så mätte man popular vote för det var billigare. Inte bara lite billigare utan enormt mycket billigare.
Det har också ofta funkat i USA, men nu för andra eller tredje (beror på hur det egentligen var med Gore och Bush och om man dömde rätt i florida) så var det inte så att den so fick flest röster också vann presidentvalet.

Bloggade om USA valet bl.a här

Bortfallet är mao något som vi som seriöst undersökningsföretag skall hålla koll på. Tror vi att det är ett problem och inte följer upp det så skall vi inte släppa undersökningen.

Nur redovisar vi trots de siffran, huvudanledningen till detta är för att SVT och SR kräver att det redovisas för att de skall publicera en nyhet baserat på en undersökning. Detta krav kom för ca en månad sedan, och jag har haft dialog med dem innan, argumenterat mot, för i grunden sätter det fokus på fel ställe, men  förstår ändå varför de vill ha det. Det är pga den missuppfattningen kring SCB som jag nämnde ovan. Men det är också pga att IPSOS började redovisa sitt bortfall. Och det var siffror som på riktigt chockade oss på Novus. Vårt bortfqall är ca 51%, men IPSOS uppgav att det var närmare 86% på deras telefonundersökning, då blev det helt plötsligt viktigt också att visa att inte deras nivå var den vi hade. Vi begriper inte hur det kan vara så stor skillnad, jag bloggade om det här

Så främst på grund av dessa orsaker behöver vi vara tydliga med bortfallet och det är också därför SVT och SR vill se bortfallet.

Tydligheten som sådan är inget problem, men misstolkningen pga okunskap kring bortfallet är det. Så kom ihåg detta, siffran på bortfallet är inte det viktiga, det går inte att sätta en nivå på detta, det beror på många parametrar, 90% bortfall kan vara bra, 30 % kan vara rejält problematiskt, utan fråga om undersökningsföretaget står bakom resultatet. Det har man rätt att kräva som kund, journalist och medborgare.

Vem kan förresten lita på en undersökning om inte undersökningsföretaget som gjort den stå bakom resultatet i undersökningen och slutsatsen man kan dra från densamma? Det kokar med andra ord ned till förtroende, integritet och yrkesheder, som så mycket annat här i världen.

Torbjörn Sjöström

VD

Novus