Bortom sannolikhetsurval? Och andra dumheter

Ett föränderligt surveylandskap – möjliga strategier bortom traditionella sannolikhetsurval ?

Jag blev inbjuden till den årliga branschdagen i Linköping, och dagen handlar om möjliga strategier bortom sannolikhetsurval. Inledningstalet handlar om ett möjligt paradigmskifte?!?!

Den frågan har fastnat i huvudet. Å ena sidan kan man bara avfärda det som dumheter. Men problemet är att vi nu håller på att översköljas av dumheter. Man skapar falska förutsättningar och fastställer de som det centrala problemet. För det är dumheter.

De “alternativa” lösningar som finns, är ungefär lika alternativa som alternativ nyhetsmedia. Det är inte alternativ, det är metoder som är långt utanför vad man kan förlita sig på om man vill vara säker på att man har ett pålitligt undersökningsresultat.

Bortfallet anses vara det helt centrala problemet och man konstaterar därför felaktigt att det inte går att efterskapa ett pålitligt sannolikhetsurval. Samma personer blandar ihop åsiktsrepresentativitet, med demografisk representativitet, om det är på grund av okunskap eller illvilja vet jag faktiskt inte.

Man hävdar:

Att bortfallet per definition skulle vara åsiktsmässigt systematiskt, inte slumpmässigt.
Att felmarginaler inte finns längre.

Vi har alltså idag konkurrenter som på allvar både argumenterar för att man inte kan lita på den traditionella kunskapen och vetenskap som finns. Att man inte ens kan säkerställa vilken osäkerhetsgrad man har i undersökningarna. Men samtidigt argumenterar för de helt ovetenskapliga metoder som en lösning på problem (som är extremt överdrivna). Argumentet är att de beprövade metoderna inte fungerar, därför skall man använda obeprövade metoder, som saknar forskningsstöd, och saknar ens en definition av hur säker man är på att undersökningarna stämmer… Logiken haltar fullständigt. Det är inte bara du som läser som ser det.

Konstigt nog så håller man på så. Många i branschen går allt mer mot att släppa kunskapen som finns och försöka gissa sig fram, med om man har tur, anekdotisk bevisföring. Liknande denna: En undersökning baserad på en självrekryterad panel kom lika nära, eller kanske tom lite närmare än de baserade på ett slumpmässigt urval.

Men vänta nu, om det inte går att genomföra undersökningar med slumpmässiga urval, hur kommer det sig då att man är stolt när man kommer lika nära som en sådan?

Hur kommer det sig att undersökningar baserade på slumpmässiga urval fortfarande fungerar?

T.om. när bortfallet är upp till 95 %, mao vara 5 av hundra svara på undersökningen? Så är fallet i USA.

Hur kommer det sig att forskningen kring bortfall inte alls pekar på att det finns den gräns som de som förespråkar självrekryterade hävdar? Alla studier jag sett stödjer snarare det faktum att osäkerheten blir lite större vid högre bortfall. MEN det betyder inte att undersökningen blir helt missvisande.

Hur kommer det sig att när man släpper det slumpmässiga urvalet och istället genomför undersökningar på självrekryterade paneler, kan man genom undersökningarna lura ett helt land. I Sverige att SD skulle kunna bli Sveriges största parti. Något vi aldrig såg i våra undersökningar. Vi såg att SD under en period hade chans att bli näst störst om det varit val just då. MEN inte största parti.

Alltså såhär: Ja undersökningsmetoderna måste anpassa sig efter den tekniska utvecklingen.

Nej det är inte lätt att göra bra undersökningar.

Nej det är inte gratis att genomföra undersökningar.

Nej det är inte rätt lösning att kasta bort det vi vet.

Nej det är inte rätt lösning att låtsas att vi har problem vi inte har.

Om en undersökning MÅSTE korrigeras mot kända åsikter, åsikter som man bara kan få fram genom andra undersökningar, så fungerar inte undersökningsmetodiken.

Nej det är inte ärligt att begära pengar för ”undersökningar” som inte stödjer sig på de metoder vi idag vet fungerar.

Ja man kan arbeta med metodutveckling. Men den metodutvecklingen kan inte sägas fungera förrän den faktiskt kan bevisas fungera. För att bevisa det kan man inte ha en svart låda. Dessa bevis måste ske öppet, men öppen data, och öppna beräkningar. Det finns inga sådana bevis. För den delen, varför ens slösa tid på att försöka. Oddsen är emot en. Varför inte istället lägga energin på att förbättra det vi idag arbetar med. Novus väg framåt är att förbättra, inte börja om från början. Det är verklighetsfrånvänt, och slöseri med energi och pengar.

Tar vi väljarbarometern som exempel kan man inte hävda att man kom närmast om det samtidigt finns flera undersökningar som man kan förhålla sig till som bevisligen funderar, genomförd med metoder som är fastställda att de fungerar. AAPOR konstaterade det i sin rapport om självrekryterade paneler. Nate Silver konstaterade att de pågick “herding” i USA. De tecken som finns är att man snarare utgår från de undersökningar som finns och sedan låter de ha en stark inverkan på hur resultatet blir när man presenterar en självrekryterad undersökning.

Visst kan det finnas något bortom sannolikhetsurval.

Visst kan det vara kul att laborera och fundera. Men det är snarare så att man behöver förädla och förbättra. Inte kasta ut en välfungerande metod. Gör man undersökningarna korrekt fungerar de i alla länder, olika bra så klart, men där pratar vi om utmaningar av en annan kaliber. Ofullständiga kommunikationer, ofullständiga befolkningsregister etc.

Många misstar dålig metod med att det är omöjligt att göra saker bra. När sanningen är den att det genomförs dåliga metoder för någon ansåg att det inte var värt att göra det ordentligt.

Tyvärr i dagens mediaklimat är åsikter mer värda än fakta, så säger man något provocerande som kittlar fantasin så är det mer värt än den fakta som faktiskt finns.

Men Novus som är ett seriöst kunskapsföretag kan inte syssla med sådant. Vi måste utgå från den kunskap som finns, jag anser att det skulle vara bedrägeri om vi tog betalt för något som inte lutade sig mot den kunskap som finns idag.

Att vi har haft massmedia som slagit på stora trumman baserat på undersökningar som t.om. bryter mot de egna publiceringsreglerna och presenterat helt osannolika siffror för Sverigedemokraternas stöd är faktiskt något som leder till en djup misstro mot demokratin. Det är oansvarigt, och hade det inte varit Metro som varit källan antar jag att viralgranskaren satt tänderna i det…

Men det vore väl bra med lite faktakollar nu. Tex DI:s förstasida där SD kunde bli Sveriges största parti, den var FAKTISKT HELT FEL. Publiceringar som den hade aldrig hänt om redaktionerna följt sina egna publiceringsregler.

Torbjörn Sjöström

VD

Novus

p.s.

jag funderar starkt på att inte gå på årets branschmöte när hela dagen går ut på att prata om en falsk problemföreställning. Trots att jag är inbjuden talare, och har tackat ja. För det är ett hån mot alla seriösa undersökare att ens slösa en hel dag kring ickerelevanta frågor och hittepålösningar

d.s.