Jag hade fel, vi måste prata om bortfallet

Vi måste prata om bortfallet, jag hade fel.

Texten är rättad 20180424, se längst ned i texten varför.

Jag har sagt att bortfallet inte är ett problem, att det i regel är slumpmässigt. Ja, alltså sköter man det rätt är det inte fel, då är det så. Men en sak fick mig att haja till i Ipsos senaste väljarbarometer. De angav en svarsfrekvens på 13 %  15 % i telefondelen, och i deras webdel angav de 25 % i svarsfrekvens.

Det står på sidan 13 14 i deras rapport som finns att läsa här, länk

Deras siffror chockade mig, jag mailade David Ahlin opinionschef på Ipsos för två veckor sedan och frågade varför deras svarsfrekvenser sjunkit så mycket. Han svarade direkt på mail att han skulle höra av sig, men han har inte hört av sig ännu. Detta har nu gnagt i mitt huvud i två veckor.

Hur kan det rasat så otroligt för dom?
Hur kan det vara så högt bortfall?
13 % svarsfrekvens innebär att 87 % inte svarar när Ipsos ringer.

2015 när politologerna gjorde en sammanställning så uppgav Ipsos 25-30 % deltagarfrekvens. Länk

Drygt två år senare har Ipsos svarsfrekvens mer än halverats?! Vi måste ju utgå från att de räknar på samma sätt nu som innan.

Nu behöver det inte vara ett problem med bortfallet trots att det rasat för dem. Men samtidigt, om svarsfrekvenserna rasar ned till nivåer som i USA så är det något rejält konstigt. USA har helt andra förutsättningar, bl a inget mobilregister, mottagaren får betala om du ringer deras mobil, man får inte ha en dator som slår numret åt dig m.m. I USA får man kämpa hårt för att få in svaren och man genomför sannolikt flera kontaktförsök och jobbar på alla sätt att få tag på så många telefonnummer som möjligt.

Jobbar man hårt med att få in svaren så är inte bortfallet ett problem. Då når man olika grupper, man ringer inte bara när det är football på TV osv. Då är bortfallet slumpmässigt.

Men 87 % bortfall i Sverige? För mig är det obegripligt högt bortfall, det är som att man inte ens försöker få in alla svar man kan. Är det så kan det mycket väl vara ett problem.

Jag begriper ingenting. Jag har ändå jobbat med undersökningar i många år nu. Jag har själv jobbat med telefonisystemen, dragit urval, telefonintervjuat tusentals personer. Jag vet hur det fungerar på en telefoncentral. Jag vet hur viktigt det är med bra teamleaders och att alla delar sköts ordentligt.

Hur ser vårt bortfall ut då?

När Politologerna frågade var det 45 – 50% som svarade på våra undersökningar på telefon. (På våra webundersökningar låg det mellan 55- 60 %, inget politologerna frågade om men som referens)

Idag har vi en svarsfrekvens på telefon som ligger på densamma som då, ca 45- 50 %, på webben 55-60 %. Vi har mycket små förändringar. Sen har vi uppdaterat vår metod för att vara framtidssäkrad, vi skickar SMS till de som inte svarar, vi skickar vykort till de som inte har telefonnummer och vi erbjuder undersökningen på flera språk. Exakt vilka effekter dessa framtidssäkringar har kommer vi att presentera efter valet. Först när vi vet valresultatet kan vi säga vilka olika delar som bidragit till vad.

Jag förutsatte att alla undersökningsföretag som jobbade med slumpmässiga urval också jobbade för att få in så många svar som möjligt.

Men med 87 % bortfall på telefon i Ipsos senaste väljarbarometer är jag och mina kollegor chockade. Vi kan inte förstå hur det kan ha rasat så radikalt hos dom.

Lägg då till det David Ahlin skrev i en krönika för några veckor sedan, att det har blivit krångligt att göra undersökningar länk

Det har alltid varit krångligt. Det är därför undersökningsföretag finns. Hade det varit enkelt hade vi inte behövts. Det krävs yrkeskunskap och erfarenhet. Våra kunder litar på att vi gör de komplicerade delarna så de kan lita på att undersökningarna ger dem värdefull kunskap för sina operativa beslut.

Att det skulle blivit krångligare är en fråga om perspektiv. Gå tillbaka till Gallups start och man hade inte ens telefonnummer, utan man behövde knacka på hemma hos människor. Det blev inte lättare pga internet. Det blev kortsiktigt billigare, men samtidigt ledde det till många dumsnåla beslut, många trodde att det var enkelt och gratis, men det blev inte lättare att göra rätt. Men det blev lättare att göra fel. Men är det inte något symptomatiskt i den värld vi lever i att man skall fastna vid minsta motståndets lag. Svårt likställs med omöjligt. Det blir lätt så om kompetens och yrkeserfarenhet inte är värt något.

I en tid i det offentliga då tyckandet är mer värt än kunskap…

Det har alltid varit krångligt att genomföra opinionsundersökningar. Det är inte en fråga om att samla in billig data, utan en undersökning är en kombination av pålitlig datainsamling och korrekt analys. Båda delar kräver yrkeskunskap och det är aldrig enkelt eller gratis.

Förresten, någon annan dag skulle jag vilja veta hur man kan vikta mot GAL/TAN för jag begriper inte hur man kan vikta mot något där det saknas facit… Men vi tar det en annan dag.

Sen är det synd att inte SIFO svarade på politologernas fråga om bortfall, det blev helt plötsligt mer intressant efter Ipsos presentation av sitt bortfall.

Torbjörn Sjöström

VD

Novus

Rättelse:

UPPDATERING 20180424: Jag fick av en bekant reda på att det står andra siffror i Ipsos rapport nu. När jag skrev blogginlägget 10 april stod det en deltagarfrekvens på 13 %:

Nu står det 15 % (och jag tror det är på sidan 14 nu)

Men det står inget om att dokumentet är ändrat vad jag kan se, och att det har tillkommit mer information om bruttoruval. Det finns heller inget som förklarar hur det kan ha halverats på två år hos dom, när vi inte alls ser dessa tendenser. Det är mer information, men ingenting som är någon förklaring.

Sen är det lite intressant att jag sparade ned rapporten för jag hade på känn att den skulle ändras. Jag fick tydligen rätt där.