Policyråd för redaktioner kring nyhetsvärdering av undersökningar

Denna guide är fri att använda och utgå från som egen stomme. Viktigt är att inte exkludera de grundförutsättningar som specificeras. Då faller möjligheten att korrekt kontrollera undersökningens tillförlitlighet.

Är du tveksam?

Fråga oss på Novus. Vi svarar gärna på metodfrågor oavsett vem som gjort undersökningen. Vi ger alltid uppriktiga svar och du kan fråga konfidentiellt om du så önskar. Integriteten är central i det vi gör. Vi är ett oberoende undersökningsföretag utan särintresse från politik eller näringsliv.

Varför gör Novus denna checklista?

Varje seriöst undersökningsföretag strävar efter att genomföra undersökningar som korrekt representerar verkligheten. Företagets varumärke är en garant för korrektheten. Men redaktionerna behöver ibland lite handfasta råd att kunna hålla sig i.

Checklistan är ett hjälpmedel för att tolka aktörers undersökningar. Novus har regelbundet utbildat redaktioner och varit delaktiga i flertalet checklistor. Dessa listor är inte alltid publika. Därför såg vi ett behov av ett dokument som alla kan ta del av och som är baserat på den forskning och etablerad erfarenhet som finns.

Allmänt om undersökningar

Undersökningar som publiceras ger vanligen svar på en grupps åsikt i en fråga samt består av en datainsamling och en analys av dataunderlaget. Det är mycket information man kan få ut, så stirra dig inte blind på decimalerna.

. Undersökningen är till för att ge en generell bild av en målgrupp eller samhället i stort. Felmarginaler och signifikanser (se punkt 8: Felmarginaler och signifikans) är verktyg som en bra undersökning innehåller för att kunna värdera datan och de slutsatser som kan dras i analysen.

Analysen är avgörande

Oftast krävs en analys av datan. Att endast granska siffror och procentsatser gör att det lätt uppstår felaktiga tolkningar. Det ger en temperaturmätning, men saknar förklaring till varför utfallet är på en specifik nivå. Att förstå ”varför” är centralt i en bra utförd undersökning. Fråga varför det ser ut som det gör och dra nytta av kunskapen som tas fram i undersökningen. Håll undersökningsföretaget ansvarig för slutsatserna, utöver siffrorna, om det finns några. Där görs mycket av kvalitetsjobbet åt er på samma gång. Ni får ett ökat nyhetsvärde, en extern faktakälla, och en självrörlig kvalitetssäkring.

Här kommer några punkter att kontrollera:

• Slumpmässigt urval
• Frågeformuleringen
• För bra för att vara sant?
  (Var skeptiskt)
• Antal intervjuer, urvalets storlek
  (Händer inget magiskt vid 1000 intervjuer, t.ex. 500 kan vara lika bra ibland)
• Insamlingsmetod
  (inte att blanda ihop med urval)
• Beställare
  (Viktigt för värdering)
• Felmarginal
  (Finns det en?)
• Vad säger undersökningsföretaget?

1. Slumpmässigt urval?

Novus har inga öppna undersökningsdatabaser. Vi använder oss av ett slumpmässig urval. Det innebär att initiativet vid rekrytering alltid kommer från undersökningsföretaget, och urvalet sker slumpmässigt.

En öppen undersökningsdatabas (självrekrytering) tillåter en person att själv kunna anmäla sig frivillig att svara på frågor, . Detta innebär en kontrollsvårighet över vilka som registrerar sina svar eller inte. Ibland kan det även leda till att en individ har flera användaralias eller rent av är en AI-bot.

Det är vanligt förekommande med byggda paneler där det sedan dras ett slumpmässigt urval ur. Här är det viktigt att panelmedlemmarna inte är självrekryterade, utan blivit utvalda via slumpen.

Det finns undantag: Totalundersökning, där frågan ställs till alla. Det kan exempelvis vara en enkät till Sveriges samtliga riksdagsledamöter. Då är det alltså inte slumpmässigt, men det är fortfarande pålitligt då urvalet är kontrollerat. Däremot bör bortfallet kontrolleras (Se längre ned under punkt 6: Bortfallet).

2. Frågeformuleringen

Hur ser frågan ut? Är den inte specificerad, be att få titta på frågan. Den får inte vara ledande, utan måste vara neutral och balanserad. Det är viktigt att tänka på att frågorna i en undersökning har som syfte att fånga en så korrekt bild som möjligt av en större grupp, exempelvis svenska folket.

Börja med att fundera igenom själv hur du hade svarat på frågan. Hur hade dina föräldrar svarat? Din partner? Det ger dig goda förutsättningar att värdera frågans relevans i undersökningen.

Frågan får inte innehålla två frågor i ett. Det är ett vanligt misstag som gör svaret svårtolkat, man vet helt enkelt inte vad respondenten egentligen svarar på. Finns det kunskap nog att svara relevant på frågan? Stämmer svarsalternativen överens med hur frågan är ställd? Är svarsalternativen heltäckande? Förs det in korrekt kunskap som inledning i frågan?

Sen finns det en missuppfattning att varje komma och formulering är helt avgörande, så är inte fallet. De som svarar förstår ofta vad som menas, och exakt ordföljd är sällan helt avgörande.

Oavsett är det bra att veta hur frågan ställts så klart, om inte annat till faktarutan man bör ha vid publicering.

3. Är det för bra för att vara sant?

Vi vill alla läsa om spännande nyheter, men det behöver vara sanningsenligt. Det finns alltid en risk att undersökningen faktiskt är felaktig. En sund skepticism är viktig att ha, men om en undersökning säger tvärtemot tidigare undersökningar och det inte går att förklara med yttre händelser – var uppmärksam. Ställ kritiska frågor till undersökningsföretaget och den som gjort undersökningen. Vad förklarar denna förändring? Finns det ingen rimlig förklaring är det sannolikt ett mätfel, och resultatet bör tolkas därefter.

4. Urvalets storlek?

Det är en vanlig missuppfattning att en undersökning måste ha 1 000 intervjuer för att vara tillförlitlig. Det stämmer inte – det händer inget magiskt vid just den gränsen.

Det som verkligen spelar roll är att hålla sig över ca 80–100 intervjuer vid undersökningar av stora målgrupper, som till exempel svenska folket. Under den nivån växer felmarginalen snabbt och resultaten blir alltför osäkra. Vid 1 000 intervjuer är felmarginalen knappt 3 %, medan 500 intervjuer ger en felmarginal på cirka 4,5 % (läs mer om felmarginal under punkt 7).

För att kunna uttala sig om undergrupper behövs minst ca 100 intervjuer per undergrupp. Vid 100 intervjuer totalt är det bara 50 män och 50 kvinnor, vilket knappt räcker för att dra slutsatser om skillnader mellan könen. Därför kan det i vissa fall vara viktigt med fler intervjuer så man kan uttala sig om annat än bara totalen.

Felmarginal vs. urvalets storlek (antal intervjuer):

Grafen ovan visar tre linjer: Röd när resultatet är 50% (exempelvis varannan svensk), gul när resultatet är 30% (exempelvis ungefär var tredje svensk), lila när resultatet är 10% (exempelvis var tionde svensk). Felmarginalen är som högst när resultatet närmar sig 50 % och som lägst nära 0 %.

Samtliga linjer visar hur antalet intervjuer påverkar felmarginalen. Vid 10 intervjuer är felmarginalen 18 – 32 procentenheter för att sedan sjunka kraftigt ned till 100 intervjuer med en felmarginal mellan 6 – 9 procentenheter. Därefter planar felmarginalen ut till stor del. Skillnaden mellan 3000 och 5000 intervjuer är förhållandevis liten. Däremot är exempelvis 500 intervjuer bland lärare i regel ett fullgott antal intervjuer för att kunna lita på en undersökning.

Är du tveksam, fråga undersökningsföretaget vad de säger om sin undersökning och slutsatserna som dras. Håll undersökningsföretaget ansvarigt för korrektheten i undersökningen. De ska kunna svara på vad som går – och inte går – att säga utifrån undersökningen.

5. Insamlingsmetod

Ibland förväxlas begreppen ”webb” och ”självrekrytering”. Vid en webbundersökning kan det vara bra att dubbelkolla att panelen som undersökningen genomförs i inte är självrekryterad (se punkt 1: Slumpmässigt urval).

Det bör hållas i åtanke att vissa grupper inte finns på nätet i samma utsträckning som övriga särskilt bland de äldre målgrupperna, där internetanvändningen fortfarande är lägre än i yngre åldersgrupper.  En webbundersökning bland äldre är ofta inte att rekommendera då denna datainsamling riskerar att utesluta många från målgruppen.

Datainsamlingen bör vara lämplig utifrån den grupp som ska undersökas. Det finns inte en metod som löser allt – Olika metoder är olika lämpliga för olika målgrupper.

6. Bortfallet

Samtliga undersökningsföretag bör göra en bortfallsanalys vid misstanke om att bortfallet är för stort.

Förutsatt att det handlar om en allmänhetsundersökning, finns ingen forskning som talar för att bortfallet är ett hinder. Bortfallet är oftast slumpmässigt, vilket innebär att de som inte svarat, inte nödvändigtvis skiljer sig åsiktsmässigt från de som svarar. Det kan finnas en underrepresentation inom exempelvis vissa åldersgrupper. Om det trots allt skulle finnas indikationer som tyder på att bortfallet kan snedvrida resultaten, genomför Novus en rad olika typer av bortfallsanalyser för att säkerställa resultatens tillförlitlighet.

Så länge undersökningsföretaget tar ansvar för analysen bör man vara trygg i att undersökningen stämmer så långt det går att kontrollera. Vi uppmanar att fråga undersökningsföretaget om det finns några tveksamheter kring bortfallet.

Vid undersökningar som inte går ut på att undersöka allmänheten, exempelvis en undersökning som vill besvara frågor om hantverkare, finns en risk att svar endast kommer in från de med mindre uppdrag under perioden och därmed mer tid att lägga på undersökningar. Här bör bortfallet kontrolleras genom en bortfallsanalys.

7. Vem har beställt undersökningen?

Det är viktigt att ha med i beräkningen vem som beställt undersökningen. Avsändaren vinner på att sprida en undersökning som visar resultat som ligger i deras intresse. Det kan vara på sin plats att kontrollera slutsatserna med undersökningsföretaget. Står dem bakom slutsatserna? Är det en rättvisande bild av undersökningen?

8. Felmarginaler, signifikans

Korrekt genomförda undersökningar innehåller en känd felmarginal. Felmarginalen är ett mått över en statistisk osäkerhet i undersökningsresultatet; vilken sannolikhet och inom vilken intervall undersökningsresultatet kan avvika från verkligheten. Felmarginalen varierar beroende på andelen som svarar och på antal intervjuer i förhållande till den totala populationen.

En bra tumregel är att felmarginalen på 1000 genomförda intervjuer ligger på max ca +/- 3 procentenheter. Den är som störst om resultatet närmar sig 50 % och blir lägre ju närmare 0 och 100 man kommer. Se grafen nedan.

En seriös undersökning bör inte dra några slutsatser på skillnader som är inom felmarginalen, om det inte finns annan fakta som bekräftar det och därmed ökar sannolikheten för att det stämmer. Däremot kan undersökningen fortfarande vara intressant. Den kan konstatera ett faktum, visa på en fördelning, att läget är stabilt, eller att det är skillnad mellan stad/land, som grund för förklaring av en situation etc.

Det kan också vara så att en förändring inom felmarginalen trots allt är relevant om det bryter eller bekräftar en trend. Det kan även vara statistiskt säkerställt över tid på tidsserier även om förändringen är inom felmarginalen vid en kortare tidshorisont.

Undersökningen kan också var något som bekräftas i andra händelser eller undersökningar.

Men ha i åtanke att en undersökning inte anger en exakt siffra. Utan det är just slutsatserna som undersökningen visar på som är det viktiga.

Signifikans rör sig om förändringar jämfört med tidigare undersökningar. Om en förändring är signifikant går det rent statistiskt att fastställa att det skett en förändring. Även för signifikanser bör det tas i beaktande att, om inte förändringen förklaras med yttre händelser, kan det trots allt vara ett slumpmässigt mätfel. Råder det osäkerhet kring slutsatserna, be undersökningsföretaget om en analys.

9. Vad säger undersökningsföretaget?

Undersökningsföretaget är garanten för att undersökningen är korrekt, och att analysen är relevant utifrån undersökningen och dess fakta. Håll undersökningsföretaget ansvarigt för analysen så långt det går. Oavsett vem som är beställare ska undersökningen vara korrekt och rättvisande. Det är även fördelaktigt om rollfördelningen är tydliggjord. Undersökningsföretaget och ansvarig representant är de som bör ta ansvar för undersökningen. Dessa representanter har expertkunskaper i frågan och bör därför stå till tjänst för att besvara eventuella frågor.

Det finns en självsanerande effekt i att undersökningsföretaget hålls ansvariga för analysen. Ett seriöst undersökningsföretag har generella publiceringsregler för att säkerställa att beskrivningen stämmer överens med undersökningen.

Om informationen inte stämmer kan undersökningsföretaget dementera den kommunikation kunden gått ut med. Eftersom undersökningsföretagets varumärke är en garant för korrektheten bör denna typ av regler finnas. Även om undersökningsföretaget inte kan kräva att det som publiceras blir rätt, reserveras ändå rätten att korrigera eventuella felaktigheter.