Vad slumpmässigt urval egentligen betyder om man går till forskningen är att man har ett (1) urval som är slumpmässigt. Så här det det ut i oktobers publicerade väljarbarometrar:
Om man skall utgå från detta så är det viktigt att man har enbart ett urval, dessa personer kan kontaktas på olika sätt, då kallas det en ”multimode” undersökning. Men har man två olika urval och kontaktar på olika sätt, då är det något annat. Även om man har två slumpmässiga urval, t.ex. telefon på befolkningsregitret på en del och sedan en slumpmässig panel på den andra så är det inte ETT (1) slumpmässigt urval, och det blir direkt en ny dimension av osäkerhet som man bör undvika.
Här sammanställer vi antal intervjuer, om det är 1 eller flera urval, deltagarfrekvensen. Som vi väljer att kalla det, då det finns så många definitioner kring svarsfrekvens att tom branschföreningen AAPOR i USA skämtar om det. ”How ever you are calculating it you are doing it wrong!”
Totalt antal intervjuer för beräkning är samma som totalt antal intervjuer på alla förutom Kantar Sifo. De samlar in 1000 telefonintervjuer och sedan 6792 från webpanelen. MEN de räknar sedan ned dessa 6792 till att vara lika mycket värda som 1000 telefonintervjuer. Alltså det ”effektiva” antalet de själva använder är 2000 intervjuer, inte 7792 (som ju låter annars stort och fint, men då de inte ens själva räknar det så…)
Deltagarfrekvens är vårt sätt att visa förhållandet mellan antal tillfrågade och de som svarat, ett mått som fungerar både på telefon och i webpaneler. Även om Novus inte har en panel för väljarbarometern så har några andra i listan det. Därför vill vi inte heller av den anledningen använda ordet svarsfrekvens som sammanfattande ord då ingen egentligen är överens om hur man räknar den på en panel heller.
SVT och Ekot önskar att man redovisar deltagarfrekvensen (svarsfrekvensen) och den skall helst ligga över 40% (denna siffra kan ha ändrats, men det är den siffra jag hört senast, ett tag var den 50 % sen blev den 40 %)
Endast Novus och Ipsos redovisar deltagarfrekvensen. Endast Novus överstiger gränsen 40 %. Kantar Sifo, Demoskop och Inizio redovisar inget alls. Däremot har jag sett siffror från Kantar Sifo i andra rapporter där deras webpanel legat på ca 30 % så det kan vara rimligt att anta att de ligger runt där på webdelen i sin väljarbarometer.
SVT och Ekot skickade ut en begäran till alla undersökningsföretag om att de vill att man skall redovisa deltagarfrekvensen för att de skall publicera undersökningar. Tyvärr hörsammades det bara av Novus. Ipsos redovisade redan den. Demoskop och Sifo valde att inte hörsamma denna önskan.
Fältperioden: här har Novus medvetet en längre, för att ta bort korta svängningar i opinionen som kan sk pga en intervjuare har en dålig dag, eller en skandal som kortsiktigt påverkar de som svarar. Men som klingar av fort. Målet är att skapa en stabilare tillförlitligare bild av opinionen under månaden. Inte riskera att fånga en topp eller dal, som lätt händer om man bara undersöker kortare tid som t.ex. en vecka. När valet närmar sig går vi självklart ned i tid och har en kortare period, men mellan valrörelser är vår inställning att en kort undersökningsperiod skadar tillförlitligheten och stabiliteten i resultatet. Det finns mer om hur vi resonerar här
Kan redovisa felmarginal: Novus har ett slumpmässigt urval och kan därför utan problem räkna på felmarginaler och signifikanser.
Alltså Novus kan ange hur pass säker resultatet är. t.ex. S har med 95 % säkerhet idag ett opinionsstöd på 24,7 % med en felmarginal på + – 1,45 procentenheter
(Felmarginalen går ned ju fler intervjuer man gör)
Demoskop, har inte ett slumpmässigt urval och kan inte göra det. Ipsos och Inizio lika så. Kantar Sifo har inte det heller, men de redovisar ändå felmarginal baserat på ca 2000 intervjuer. Jag begriper inte hur de kan göra det då de faktiskt har två olika urval.
Kan man inte redovisa felmarginal så kan man faktiskt inte säga hur säker undersökningen är, det är då omöjligt att värdera den varken som nyhet eller som beslutsunderlag. Så enkelt är det faktiskt.
Är du mer intresserad av vilka krav man kan ställa som redaktion finns här mer information om checklistor att utgå från som är lik de SVT och Ekot har. Följer man det så vet man att man har på fötterna att kunna nyhetsvärdera den undersökning man gör. Som jag bloggat om innan så är det en fråga om trovärdighet och att man faktiskt kan lita på en undersökning. Det gäller inte bara nyhetsredaktioner, det gäller faktiskt ännu mer för undersökningar som är del i en privat verksamhet. Där affärsbeslut dagligen baseras på kunskap från undersökningar. Har man råd att snåla? Har man råd att vara osäker?
Snålar man på kunskap blir man dumsnål.
All information här är baserad på de uppgifter man kan få fram utifrån publicerade rapporter och nyhetsinslag. Har någon mer information som jag missat säg till. Det finns också andra detaljer att fördjupa sig i, men här försöker jag göra det så översiktligt man kan göra.
Torbjörn Sjöström
VD
Novus