Om redaktioners checklistor för undersökningar

Fredrik Furtenbach på Sveriges Radio är ett föredöme i att göra checklistor för redaktioner som baserar sig på den kunskap som finns. Sveriges Radios checklista för undersökningar var vad jag vet först av dess slag på alla redaktioner. Men efter det har flera följt efter. SVT kom för ca 4 år sedan med den checklista jag känner till, och sedan följde TV4, TT och dagstidningarna efter.

Alla har det gemensamt att de inte tillåter självrekryterade paneler. Jag vet att det finns upprörda röster om det, att en självrekryterad panel minsann kom närmast, en annan kom närmast föregående val. Men kärnan i detta är faktiskt att kunna vara säker på om resultatet stämmer när det inte finns ett facit. Då har vi bara slumpmässiga urval att förlita oss till. För väljarbarometern må vara det alla tror är det enda vi sysslar med, oftast är det journalister tänker på när de säger opinionsundersökningar. Men opinionsundersökningar är grunden för nästan all statistik och kunskap som går ut på att man måste fråga vad man tycker, tänker och gör.

Det rör inte bara frågor om politik, utan det rör nästan allt där man behöver kunskap om vårt kollektiva beteende där man inte kan hålla omröstningar eller fråga alla berörda.

Det låter säkert lite kontraproduktivt att vi som undersökare litar på slumpen, men det är faktiskt så. Slumpen gör att åsikterna bland de som tillfrågas blir representativa för hela gruppen som skall undersökas.

Lika bra att påminna om att en undersökning inte är att bara samla in data, utan det består av datainsamling och analys. Det är inte bara siffror, det är för att få kunskap. Där siffror så klart är viktiga, men siffrorna måste vara relevanta och utan förståelse för vad de representerar så blir de lätt helt meningslöst. Tittar man på vissa undersökningar i massmedia så blir det ganska meningslöst, men det är faktiskt inte det vi gör, och jag jobbar hela tiden med att ge en mer rättvisande bild av vad vi faktiskt gör och att det skall synas även i medias rapportering om undersökningar.

Att massmedia har checklistor som inte bara appliceras på vem som kom närmast i valet är då viktigt. T.ex. AAPOR skrev en rapport om självrekryterade paneler, och kunde i den konstatera att inom just politik kom självrekryterade paneler nära för det fanns så mycket annan data att förhålla sig till, inte bara datat i undersökningen. Men det finns inga belägg för att det fungerar i andra sammanhang.

Tar detta fritt från minnet, läste den för några år sedan, men finns inga nya rön som omkullkastar denna, rapporten finns att läsa här: LÄNK TILL AAPORS rapport

Undersökningar är ofta den enda faktakälla som finns, nyheter skall ju vara baserad på kunskap, inte tyckande. Det skall vara nyhetsmässigt intressant, men det måste ju också vara sant.

Slumpmässigheten är också grunden för i vilken omfattning man kan lita på undersökningen. Felmarginalen och om ett resultat är statistiskt säkerställt kräver ett slumpmässigt urval. Och slumpen skall vara utifrån hela gruppen man skall undersöka, är det svenska folket så måste alla ha en känd sannolikhet att bli utvald i undersökningen.

Det räcker alltså inte att ha en websida där vem som helst kan gå till för att säga vad dom tycker. Då kommer drivkrafter att påverka. Slumpen måste ske på undersökningsföretagets initiativ.

Här är ett typexempel på hur fel det blir när EU kommissionen inte förstår skillnaden och agerar på en falsk folkvilja: LÄNK

Har man ingen egen checklista i redaktionen så kan Novus policyråd till redaktioner vara bra input

Ekots och SVTs checklista innehåller ungefär detta:

Slumpmässigt urval: 

Det är urvalet som är det centrala, inte telefon, post eller web, är urvalet slumpmässigt accepteras alla datainsamlingsmetoder. Läs mer om urvalet här LÄNK

Antal svar:

Målet är ofta satt som 1000 intervjuer, i verkligheten finns det ingen sådan gräns, utan fler intervjuer ger en mindre felmarginal vid slumpmässiga urval, och under 100 intervjuer brukar det bli rejält stökigt. Se detta inlägg om felmarginaler: LÄNK

Men media kräver 1000 intervjuer i regel trots det. Det får man förhålla sig till.

Bortfallet:

Mellan 40 och 50 % skall ha svarat. Även här överdriver man lite, för det finns inget stöd för att bortfallet är systematiskt på allmänhetsundersökningar. Det är faktiskt så att allt pekar på motsatsen, bortfall på ca 95 % i USA är inte ovanligt. Trots det är svaren slumpmässiga och träffsäkerheten i USA valen har faktiskt gått upp. Problemen i USA är främst att man inte uppfyller kravet på slumpmässiga urval. Skrev lite om utmaningarna att undersöka i USA här LÄNK

Egentligen är bortfallet något vi undersökningsföretag skall hålla koll på, om bortfallet är högt och vi misstänker att det finns systematiska fel så gör vi en bortfallsanalys. För kom ihåg, vi levererar ju inte siffror, vi levererar kunskap med stöd i siffrorna. Om siffrorna är opålitliga så går det ju inte att lita på dom, då skall inte vi stå bakom undersökningen heller. Hursomhelst 40-50% svarsfrekvens kräver redaktionerna i regel. Det får man förhålla sig till.

Statistiskt säkerställt:

Det har varit en del kritik mot att nyheter dragits upp stort kring skillnader som är inom felmarginalen. Det är redaktionerna allt mer uppmärksamma på. När en redaktion är kund till Novus så hjälper vi dom med detta i sin nyhetsvärdering. Alla våra kunder får hjälp med det faktiskt,  de måste ju veta vad undersökningen säger och vad som kan vara inom felmarginalen. Undersökningar är ju att ta fram kunskap, kunskapen måste ju så klart vara förankrad i verkligheten.

Kan man lita på avsändaren, är det en partsinlaga?

Är frågorna neutrala och vettigt ställda?

Dessa är sannolikt de viktigaste frågorna för en redaktion, kommenterar dessa samtidigt, för de går i varandra. De andra sakerna är hygienfaktorer för att över huvud taget kunna fundera på om undersökningen är rättvisande.

Det är också här mycket av undersökningsföretagets anseende ställs på sin spets.

Novus har publiceringsregler, där vi begär att få se pressutskick innan det publiceras, för att säkerställa att det som skrivs om undersökningsresultatet stämmer med vad undersökningen visar. Om den inte gör det så kan det vara så att vi dementerar rapporteringen om vår egen undersökning. Novus varumärke är garant för att det går rätt till, inte bara ”hygienfaktorerna” ovan utan även att undersökningen ger en rättvisande bild av det som skall undersökas. Vi släpper inte igenom ledande frågor, och vårt mål är att en undersökning från Novus skall ge en rättvisande bild av det som skall undersökas. Sen kan vi göra fel så klart, gör vi det så tar vi ansvar för det. För ett undersökningsföretag verkar i förtroendebranschen. Vi måste ha respondenternas, kundernas och medias förtroende. Vi måste stå för en opartiskhet så gör att man kan lita på en Novusundersökning oavsett vem som beställd den och oavsett var den sedan presenteras. I dagsläget har vi ett gott förtroende från alla parter grundförklaringen till varför Novus undersökningar efterfrågas så mycket, och att man ser Novus refereras till så mycket i massmedia. Men vi kan inte slappna av. Vi måste hela tiden se till att göra vårt jobb så bra det går.

Att redaktionerna har bra checklistor är otroligt viktigt för förtroendet för de nyheter som dagligen produceras baserat på undersökningar. För ett undersökningsföretag att uppfylla dessa checklistor är precis lika viktigt. Sen kan vi ha synpunkter på detaljer i vissa punkter i checklistorna, men i grunden är det bättre att de är lite för tuffa istället för att de är slappa. Skrev en text om det i medievärlden häromdagen: Medierna skapade den felaktiga bilden av opinionen

Mao detta måste en undersökning uppfylla för att klara de mest seriösa nyhetsredaktionerna i Sverige:

• Slumpmässiga urval?
• Felmarginaler?
• Är resultatet statistiskt säkerställt?
• Har tillräckligt många svarat?
• Kan du lita på avsändaren?
• Är frågan neutral och vettigt ställd?

Nu skulle någon av mina konkurrenter gå i taket om jag säger något om vilka som uppfyller vad, så jag håller tyst. Men igår slog det mig att det bara är Novus som faktiskt uppfyller alla dessa krav i de undersökningar vi genomför mot allmänheten (i de flesta andra också, men vissa grupper är svårare att undersöka än andra, tex ibland går det inte ens att uppbringa 1000 svar i en liten grupp).

En del företag faller på slumpurval, en del på att bortfallet inte redovisas, en del på att bortfallet är för hög. De tre sista punkterna är mer en bedömningsfråga från undersökning till undersökning och går så klart inte att uttala sig om generellt, men vi på Novus arbetar hårt med dessa frågor oavsett om en undersökning skall publiceras eller inte, för det spelar ingen roll i vår värld. Alla undersökningar vi gör skall ge relevant kunskap. Vissa publiceras, de flesta används som beslutsunderlag i företag och organisationers strategiska arbete.

Torbjörn Sjöström

VD

Novus