Vem kunde tro att Torbjörn Nilsson var faktaresistent? Eller är texten bara fake news?
Blev tipsad om Torbjörn Nilssons text om min bransch och satte kaffet i halsen. Maken till sörja har jag inte sett från en s.k. seriös journalist.
Texten blev väldigt lång för att jag tvingas att kommentera en lång text full med felaktigheter. Så lägger till en sammafattning här:
- NEJ SCB mäter inte bara mellan valen. De utvärderar också i samband med valen
- NEJ telefon är inte samma sak som slumpmässiga urval, förstår man inte ens det mest grundläggande bör man vara tyst.
- NEJ Demoskop var inte närmast i senaste valet. Det var Novus, i EU valet.
- NEJ Problemet är inte att ovetenskapliga metoder är ”smutsiga” de är att de är ovetenskapliga. Eller förordar han även ovetenskaplig sjukvård? Ovetenskapliga husbyggen?
- NEJ Gallups metod är inte fel.
- NEJ Bortfallet är inte huvudproblemet. Bortfallet är något vi håller koll på men inget som någon annan kan avgöra vad som är rätt eller fel
- NEJ riktiga undersökningar har inte slutat fungera. Tvärtom de blir bättre och bättre. Konstigt va? Men det är för att metoder förfinas. Inte kastas ut genom fönstret för de är för dyra.
- NEJ det finns inga forskare som har bevisat att slumpmässiga metoder INTE fungerar. Det är heller ingen som har bevisat att självrekryterade paneler fungerar. (Annars hade vi inte haft denna diskussion, se nedanstående)
- NEJ vi är inte dumma i huvudet, för det låter verkligen som det när Torbjörn Nilsson talar ”sanning” om vår bransch. Vi utgår från vetenskap och kunskap. Vi utvecklar och förfinar de metoder vi gör hela tiden. Men vi släpper inte grundförutsättningen, de slumpmässiga urvalen.
- En undersökning är facit där det saknas facit. Det handlar aldrig bara om väljarbarometern.
Artikeln är en saga, men som alla sagor så är det inte mycket sanning i den, utan man fokuserar på en bra berättelse som underhåller. Hade det inte varit så att den ger sken av att vara sann så hade man kunnat skratta åt det.
https://www.expressen.se/nyheter/torbjorn-nilsson/darfor-kan-man-inte-lita-pa-gamla-scb-langre/
Hur skall man hantera en sån text då? Ja får väl gå uppifrån och ned och kommentera. Ja vi börjar väl med ingressen:
”Socialdemokraterna håller stånd mot Sverigedemokraterna, sa Statistiska centralbyrån i veckan. Fast stämmer det? Torbjörn Nilsson ser en förändrad värld i opinionsundersökningarna.”
TN (Torbjörn Nilsson) VET inte om något stämmer alls. Men det stämmer att han ser en föränderlig värld i opinionsundersökningarna, men jag tror inte riktigt att det som verkligen händer är det han syftar på. Vi får se.
”De firade förra torsdagen, när novemberregnet föll. Hjort till huvudrätt i Grodans Guldbankettsal, hej och skål i mousserande. Hundra personer – fler är de knappt – och de uppmärksammades som vanligt av ingen.”
Ja det var få människor, märkligt. Men då kanske man skall veta att det är SMIF som hittade på denna gala. Vi är ett gäng som sedan många år tillbaka lämnat SMIF: Novus, Sifo och Ipsos.
Visst Novus vann ett pris förra året för någon hade nominerat oss till ett av priserna och mina kollegor som vann kom så klart för att ta emot priset. Men varför skulle vi stå bakom en organisation som vi och världens mest välkända undersökningsföretag lämnade för att de inte försvarar branschen? Klart det blir få människor som kommer då. Och varför skulle denna gala uppmärksammas mer? Det är nästan aldrig några galor som uppmärksammas förutom då journalisternas egna… Men det är kanske inte så konstigt att dom hamnar på nyhetsplats.
”Det var andra året i rad hans institut prisades.”
Ja detta är väldigt konstigt faktiskt på flera sätt.
Men samtidigt sitter man i styrelsen i SMIF så verkar det löna sig på sin egen gala tänker jag. Där verkar inte vetenskaplighet spela någon roll. Och ordet transparens är bara något man slänger sig med. Man glömmer bort att transparens skall leda till replikerbarhet. Vilket är helt omöjligt på de som hyllats kring sina metoder i galan de senaste två åren.
”Måhända rimligt, eftersom Demoskop lyckades mäta närmast resultatet i senaste valet.”
Var de närmast? VA?! Nej det var faktiskt Novus som var närmast i senaste valet. Demoskop var faktiskt sämst. För det senaste valet var EU valet. Novus har varit bättre än VALU de två senaste EU valen. Inte nog med det bättre än alla anda undersökningsföretag de tre senaste EU valen.
Eller menar TN riksdagsvalet? Det val där alla låg rätt bra till, men Demoskop kom lite närmare framtiden för de låg lite LÄGRE på SD?
Hmm, vad hände där? Nu verkar TN tro att vi förutsäger framtiden… Minns ni Jimmie Åkessons ”de är inte svenskar”?
Det resulterade i ett stort tapp från SD till M. Samtidigt verkade V tappa väljare till S de sista två dagarna. Detta var förändringar INGEN kunde förutsäga. Mao Demoskop råkade komma lite närmare, inte mer än så.
MEN sen kom EU valet och Demoskop var så fel ute att det är helt obegripligt. De skyller på att de inte hade någon kund som ville ha EU vals undersökningar därför publicerades inget nära valdagen, ja sääkert…
Men eftersom man tydligen kan förutsäga framtiden så borde demoskop dömas utifrån sin rejält felaktiga EU väljarbarometer en månad innan valet. Eller?
Lägg sedan till att denna ”fantastiska” metod ändrats en gång till efter. Nu kör Demoskop något helt nytt igen. Idag hävdade Peter att de nu jobbar med ”dubbel italiensk bokföring” till Dagens Opinion. Ja han sa faktiskt så, jag frågade reportern en extra gång. Men visst det är väl lite som Petter Stordalen som till Fredrik Skavlan sa:”Hellre dubbelmoral, än ingen moral alls”
När verkligheten inte spelar någon mer roll än att presentera en fin historia och kul one-liners.
”De flesta medier rapporterar inte Peter Santessons mätningar. Sveriges Radio, till exempel, har sedan två år ignorerat allt han gjort. Han har i den mån sådant går att mäta haft mest rätt – eller minst fel, som gruvarbetarna säger – men det spelar ingen roll.
Han har fel sätt, tycker kritikerna.
Fel metod.”
Klart han har fel metod. Det borde tom TN förstå. Har verkligen Demoskop gjort ALLT rätt? Eller MINST FEL? Jag kan nog komma på ett dussin saker som är fel. Allt från debattartiklar som säger att man inte kan undersöka längre, till mycket märkliga resultat i opinionsundersökningar som inte verkar stämma med verkligheten. Men det vore intressant att få höra TN beskriva vad ALLT är.
Varför har de då fel metod? Jo för att de släppt slumpmässigheten. Hela grunden i trovärdiga undersökningar. Släpper man den släpper man också felmarginalen. MAO ingen kan säga att det man gör ger ett pålitligt resultat.
Att säga att Demoskop gör ALLT rätt är ungefär som att säga att en klocka som står till har rätt två gånger per dygn… Det gäller bara att kolla på rätt tillfälle och jämföra med en riktig klocka. Just nu har vi haft flera riktiga klockor att jämföra med. Inför och runt riksdagsvalet 2018 hade vi flera klockor som gick rätt. Det var inte så att Demoskop var de ENDA som hade rätt, då hade vi kunnat prata om något helt annat. Men nu pratar vi om någon som EN gång haft ”rätt” med en metod man inte ens använder längre. Svårt att hitta ett bättre exempel på anekdotisk bevisföring. Lägg då till att det inte fungerade ens valet ett halvår senare…
https://novus.se/think-with-novus/blogg/kan-man-ens-vara-narmast-i-valet/
Här finns en sammanställning kring riksdagsvalet:
https://novus.se/think-with-novus/blogg/valet-ar-klart-vem-var-bast/
Många klockor att ställa in sin egen mot om man ville. Man behöver inte ens ett batteri i den om man inte vill.
”Det är ett fascinerande argument eftersom det är så historielöst.”
Håll i er nu kommer det.
Historielöst? Alltså TN refererar till EN undersökning där genomsnittliga felet låg inom felmarginalen för de flesta och lägg till att väljarna ändrade sig efter att vi ALLA slutat undersöka.
DET är TN:s bevis på Peter och Demokops storhet och att de gjort ALLT rätt.
Lägg då till TN:s historierevisionism som är makalös:
”Gallup är 35 år när han inför det amerikanska presidentvalet 1936 deklarerar att tidskriften Literary Digest – som i två decennier förutspått presidentvalsresultaten korrekt – kommer att peka ut fel kandidat. Han påstår att han vet på vilket sätt tidningen kommer göra fel och till vilken procentsats.
Vänta nu FÖRUTSPÅTT?
Nej undersökningar förutspår inte framtiden. Vet inte ens TN det? Men visst till TN:s försvar kanske det står fel i gamla artiklar. Journalister är konstigt nog inte alltid så noggranna med ord som man skulle kunna tro, och har aldrig varit.
Sen kommer en utläggning om att orsaken till varför Literary digest inte funkar och Gallup gör det är för att det skett ett paradigmskifte.
NEJ, det är för att en icke statistisk metod RÅKADE fungera pga Literary digests under en period RÅKADE ha ett representativt urval, trots bristen på slumpurval.
ALLA typer prenumererade på tidskriften. Sen kom finanskrisen och det totalhavererade för många hade inte råd att prenumerera längre.
Vänta, känns inte detta lite bekant med ett annat paradigmskifte? Vem prenumererar på tidningar nu? Är det inte lite konstigt då att Aftonbladet säger att de kan nå ALLA via sin panel rekryterad via sina läsare? Hmm. Nej tillbaka till ämnet.
Det George Gallup gjorde var att utgå från slumpmässiga urval där man har en känd sannolikhet för alla att slumpmässigt väljas att vara med. Han genomförde 50 000 intervjuer i USA. Alltså ca 1000 stycken per val. För USA hade då 50 delstater som hade en röst, och då 50 val som sedan ledde till att Förenta staterna fick en president. Idag genomförs ett par tusen intervjuer på 51 val… Ja en annan fåga.
MEN det Gallup gjorde som var revolutionerande var att han BARA intervjuade 50 000 personer. Inte närmare 10 miljoner som literary digest gjorde. Han kunde intervjua så få och få ett mer representativt urval av åsikter pga slumpmässiga urvalen.
”Gallups grundtanke fungerade länge. Men så slutade folk svara i telefon, och de som ändå svarade slutade säga vad de tänkte rösta på.”
För det första begriper inte TN skillnaden mellan urval och insamlingsmetod.
https://novus.se/think-with-novus/blogg/telefon-eller-webb-urvalet-ar-centralt/
Man måste inte undersöka på telefon för att ha ett slumpmässigt, sannolikhetsurval.
Bortfallet har fullständigt skjutit i höjden i USA. MEN det betyder inte alls att undersökningar inte fungerar. Tvärtom blir de i USA bättre och bättre. De använder faktiskt fortfarande telefon som sin ”gold standard”. Men som en föreläsare sa på årliga forskarkonferensen i USA (AAPOR) ”you just need a lot of gold”
Även forskare som Jon Krosnick professor på Stanford, en av de mest ansedda metodforskarna i världen visar gång på gång. Slumpmässiga urval är alltid bättre än självrekryterade. Tex. Denna från 31 oktober 2018
https://academic.oup.com/poq/article-abstract/82/4/707/5151369
Tyvärr behöver man inloggning för att läsa den
För även om bortfallet ökar så är det slumpmässigt. Bortfallet beter sig INTE som få intervjuer och andra metodutmaningar.
Detta är sant i hela världen. Problemet är snarare att man kommer med grundlösa påståenden om att något inte fungerar pga effektsökeri eller för att försvara en billigare opålitligare metod.
”några men knappast alla opinionsmätare i akademin. De tycker det är orent.”
Nej, det är inte orent, det är dumt och historielöst att medvetet försämra undersökningar för att spara pengar och baserat på anekdotisk bevisföring. Visa mig en forskare som FAKTISKT kan försvara icke sannolikhetsurval som bättre än slumpurval.
TN fördummar forskningen och vetenskapen på ett makalöst sätt. Det ligger så klart i tiden i dagens klickjournalistisk där alla kan Googla fram valfri fakta och tro att det är kunskap. Men kunskap förutsätter att man faktiskt kan värdera fakta och dra rätt slutsatser. Det klarar uppenbarligen inte TN.
”Och nu har till och med SCB övergett telefonen. De skickar brev med länk till en hemsida med frågor och svar. Ringer gör de bara som en sista åtgärd. Metoderna förändras konstant.”
Återigen, TN förstår inte ens skillnaden mellan urval och insamlingsmetod. Och han tror sig vara expert?
”Centralbyrån mäter under fyra veckor, de privata under en eller två. Korta mätperioder gynnar stora svängningar i resultaten – vilket kan vara en nackdel – långa mätperioder riskerar att släta ut eller helt missa faktiska förändringar.”
Ja alltså, Novus gör det också mellan, för det är faktiskt inte valår nu, men det är ju tråkigt för personer som TN som vill skriva spännande utläggningar om minsta lilla viskning i korridorerna. Förresten Centralbyrån, vad är detta för omskrivning? Försöker han dra paralleller till politbyrån, fattar inte?
Men för oss ”gruvarbetare” vem som nu hittade på den idiotiska termen är stabilitet bra. Vårt jobb är inte att skapa löpsedlar på kvällstidningar och maximera klick. Nej undersökningar är att ta fram kunskap. Det är inget gruvarbete, däremot är det ett kvalificerat arbete som kräver kunskap om hantverket, förståelse för forskningen, samhället och absolut viktigast förståelse för mänskligt beteende.
Jag är också kritisk till delar av det SCB gör, men jag är kritisk till fixeringen av en undersökning som visar samma sak som vi som regelbundet presenterar trovärdiga undersökningar månad efter månad och sedan kommer ett ”facit”. Nej så fantastisk är inte SCB. Men de har ett slumpmässigt urval. Apropå SCB så var Evry skandalen ett fruktansvärt haveri. Men det har inget med deras PSU och göra och absolut inget med bortfallet att göra, eller telefon som metod.
För den delen kunde SCB i sin metodutvärdering efter valet 2010 konstatera en sak som jag hävdat med en dåres envishet. Det var ingen skameffekt. Problemet var att man litade lika lite på undersökningsföretagen som massmedia. Att undersökningar kunde ses som en åsiktsregistrering och att t.ex. expressen skulle hänga ut de som svarade. Har skrivit om SCB:s utvärdering efter valet 2010 här
Torbjörn Nilsson gör här ett bra jobb med att dra ned trovärdigheten för vetenskap och seriöst arbete. Han gör också en historierevisionism som skulle göra Ryska engelskspråkiga media stolta. För man måste nog gå till den typen av arbete för att hitta liknande exempel.
Det blir en fin saga som hyllar någon som måste vara en nära vän till Torbjörn Nilsson med tanke på de översvallande enbart okritiska orden. Och absolut Peter Santesson är en trevlig prick. Men sant är det inte. Det är så mycket fel att man blir helt matt.
Om jag skulle använda ett modernt ord för denna saga så är det att Torbjörn Nilsson är helt faktaresistent.
När jag läser denna text undrar jag faktiskt om man kan lita på något annat Torbjörn Nilsson skriver. Är han ens hälften så vårdslös med sanningen i andra texter så är det illa.
Om något är texten ett påverkansarbete. Tyvärr inte för något gott, helt skamlöst skapar den en falsk bild av allt vi håller på med och hylla något som helt saknar stöd i den kunskap och forskning som faktiskt finns.
Torbjörn Sjöström
VD
Novus