Om skameffekten, misstron, undersökningar och SD

Jag var inbjuden talare på en datajournalistkonferens igår NODA, ett ställe full av journalister, jag och John Kling ansvarig för PSU på SCB.

John och jag skulle prata om opinionsundersökningar och valet med ett par journalister. Det här inlägget skall inte prata om samtalet, jag ger er bara en liten inramning av detta och varifrån en del informationen kommer.

Men John sa en viktig sak, dom såg ingen skameffekt kring valet. SCB gjorde nämligen en väljarundersökning precis innan valet som de inte publicerade, och den hade väldigt rätt på SD. SCB fick fram 12,2, på SD (0,7 från valresultatet och rejält inom felmarginalen).

ÄNTLIGEN! Inte bara jag som behöver tjata om detta från våra interna studier. Det var ingen skameffekt, och det var inte bortfallet.

Skameffekten är kort att man skulle skämmas att vara ärlig på telefon i en intervju, att man hellre svara på en webenkät. Det har varit en enkel förklaring till varför web skulle vara bättre än telefon. Men vi ser inga stöd alls för det, och nu bekräftar SCB det också, vilket är skönt, för metodmässigt gör vi på samma sätt. Skillnaden är heller inte mellan web/telefon (ja det finns små skillnader men det är en helt annan sak där). Diskussionen som felaktigt förenklas till web/telefon är självrekryterat urval (saknar vetenskapligt stöd, dessa aktörer kör på web) och slummässigt urval, för väljarbarometern sker det främst på telefon (för det finns inget bra nationellt epostregister som man kan dra slumpmässiga urval från).

Skameffekten om jag minns rätt introducerades som förklaring av Jimmie Åkesson inför valet 2010 till varför SD inte hade större stöd i undersökningarna innan valet. Jag har letat men hittar ingen tidigare referens till det än den. Han sa att dom själva gjort undersökningar där SDare uppgett att de inte vågade vara ärliga. Det må vara sant att han gjort det, men det är samtidigt rätt märkligt att skameffekten för undersökningsbranschen kring SD introducerades och blev en ”sanning” för att SDs partiledare sa att det var så… Vad säger det i så fall om journalistiken? Vad säger det i så fall om undersökningsbranschen? Detta var innan jag kom in så jag har fått gräva runt lite i efterhand, och jag kan ju ha missat något.

Men med tanke på att en telefonbaserad undersökning hade nästan helt rätt på SD 2010 så faller ju det argumentet, men konstigt nog brydde man sig inte om fakta efter valet verkar det som… Synovate hade 5,9 på SD senaste väljarbarometern 2010 (telefon) SD fick 5,7

Här kan ni se Novus sammanställning på alla väljarbarometrar, Wikipedia har nämligen missat Synovates septemberundersökning 2010 så där är det fel och det ser ut som Synovate tokmissade SD… Wikipedia har missat Demoskop också.

Men det som är helt solklart är att jag inte sett skameffekten, och SCB bekräftar det också.

Jag hade SCBs datat sedan i julas och visste om att de inte hade så fel på SD, men kom mig aldrig för att blogga om det, andra saker kom emellan.

Sen underskattade SCB Moderaterna hel hel del, 3,5 procentenheter, sannolikt utanför felmarginalen.

Lite lustigt faktiskt, kolla jämförelsen mellan valresultatet, Novus och SCB

Vi hade EXAKT samma avvikelse, men SCB bommade Moderaterna främst, och vi bommade SD. Dock träffade vi lite bättre skillnaden alliansen/rödgröna.

Men man skall ha i åtanke att en undersökning är med 95 % sannolikhet inom felmarginalen, och det kan vara utanför felmarginalen också. Det väljarbarometrarna sa var hur det parlamentariska läget skulle bli. Där hade vi alla rätt. Lägg därtill ett genomsnittligt fel på under en procentenhet. Det är otroligt bra. Och för den delen säg något annat som man är säker på med 95 % sannolikhet.

Jag har sedan typ dagen efter valet pratat om misstroendeeffekt, vi såg ingen skameffekt, men vi såg ett systematiskt fel, kopplat till förtroende, eller bristen av förtroende för mediehusen och att vi undersökningsföretagen var köpta av dom för att trycka ned SDs stöd.

Ja med tanke på mediekrisen där media inte har råd med något alls, så faller det så klart på sin egen orimlighet redan där. Lägg sedan till varför skulle man betala någon för att påverka så, hade det inte varit enklare att skippa undersökningar då? Sen oavsett pengar så kan man inte muta oss.

Men det var flera redaktioner som kampanjade mot SD inför valet, precis som sedan hände med Trump. Det är farligt och vad jag tror är en stor anledning till att förtroendet för media sjunkit så kraftigt. Tyvärr har undersökningsföretagen dragits med i detta. Sen har vi som bransch jobbat dåligt med att motverka detta. Där är jag mycket kritisk mot vår egen bransch. Syftet med detta inlägg är inte att peka finger utan att försöka förklara.

Misstron åkte vi dit på, det fanns/finns en grupp SD sympatisörer som var rädda att vi höll på med åsiktsregistrering. Vi nådde gruppen, men dom svarade att dom inte visste vad dom skulle rösta på.

Däremot svarade dom på andra frågor, som gör att vi kan uppskatta gruppen bättre.

Jag skrev om misstron här: Om Misstron och att mäta SDs sympatier

För att sammanfatta, nu har vi haft två val då mediabilden snarare är en mytbildning om undersökningars träffsäkerhet. Att man är så faktaresistent i sin medierapportering är faktiskt sjukt provocerande. Journalistikens jobb är att att beskriva och förklara, kan man inte ens försöka ta reda på fakta först då? Det är under all kritik.

Först blev det en sanning att de traditionella underskattade SD i 2010. När det var en sådan undersökning som träffade helt rätt. Synovate, och det var på telefon.

Sen blev det samma sanning igen, här var det tyvärr lite svårare att motbevisa, för vi såg ett systematiskt fel, och vi visste inte vad SCB kommit fram till innan julen 2017. Så det var lättare att spekulera loss. Men jag har med en dåres envishet sagt att det inte finns en skameffekt, utan det är en misstro. SCB:s siffror bekräftar min tes, även om det skulle ta mer än 3 år att bli publikt.

Vi har också inte bara metodutvecklat åt det hållet utan också jobbat med förtroendet för oss. För det är jätteallvarligt om man tror att vi inte hal säkra anonymiteten.

Ja så var det med det.

SCB hade rätt på SD, men de var inte bäst, de hade fel på andra partier.

Skameffekten finns inte, men det finns fortfarande en misstroendeeffekt, som är kvar, men begränsad och jag är så säker jag kan vara på att vi på Novus har den under kontroll, och framförallt så jobbar vi med att få bort misstron. För ALLA är anonyma i Novus opinionsundersökningar, och mediehusen skulle inte ha råd att köpa mig. Så mycket pengar har dom inte.

MP är faktiskt det parti som genomgående överskattades, min förklaring till det är att dom sjönk så otroligt fort, de gjorde mycket dåligt ifrån sig i debatterna, ja ni minns kolbiten va? (nej det var inte bara den, jag tror det var här vi såg Fridolins förtroende rasa)