Vad håller SOM chefen på med?
Johan Martinsson nuvarande chef på SOM institutet på Göteborgs universitet (efterträdare till erkänt duktiga forskare som Sören Holmberg och Henrik Oskarsson)…
Johan har jag tyvärr behövt bemöta många gånger, oklart varför. För det jag gjort från dag ett jag tillträdde som VD är att försvara de vetenskapliga metoder som finns. Alltså samma metoder SOM använder. Trots det har Johan gång på gång snarare ifrågasatt Novus och det vi gör. När han intervjuats har han aldrig lyckats visa att det finns vetenskapliga metoder som bevisligen fungerar, utan snarare placera alla undersökningar i samma hink som de självrekryterade ovetenskapliga.
Det har varit så sedan jag första gången kom i kontakt med Johan för en 6-7 år sedan. Jag har aldrig kunnat förstå varför, det går ju emot hans egen forskning och roll. Jag har gång påpekat för honom och andra på SOM att det är viktigt att man försvarar de metoder som finns. För om inte forskningen försvarar sina egna metoder tappar man inte bara förtroendet för Novus (vilket verkar vara ett av målen för Johans texter, jag kan inte hitta några andra logiska förklaringar och jag har verkligen försökt hitta förmildrande omständigheter, men det är för systematiskt och ensidigt) utan även för den egna verksamheten.
Idag såg jag då en text på Politologerna som var långt över gränsen.
Där man börjar i USA och deras låga svarsfrekvens. Ja att den är låg där vet vi. Det finns många förklaringar, tex finns det inget nationellt mobilregister. Ringer man ett mobilnummer måste mottagaren betala för det, mao du kan bli stämd om mottagaren anser att man slösar med din tid… Osv osv. Sådant som Johan BORDE veta.
Sedan säger han att träffsäkerheten i USA är omtvistad, då kan jag ju undra vem han lyssnar på i USA. För trots den låga svarsfrekvensen i USA fungerar det fortfarande extremt bra om man har riktiga metoder. Det fungerar t.om. bättre nu än tidigare. FÖRUTSATT att man har slumpmässiga urval och det är allmänhetsundersökningar, men det är dessa som texten handlar om.
”Det är dock omtvistat hur mycket det egentligen betyder för kvaliten på undersökningarna. En del studier pekar på att träffsäkerheten i resultaten ofta kan vara god trots de låga svarsfrekvenserna (se tex Groves 2006 eller Pew 2016). Även om kvaliten kanske är fortsatt acceptabel uppstår förstås flera praktiska och ekonomiska problem med så uppseendeväckande låga svarsfrekvenser.”
Johan späder därmed på myten om bortfallet. Bara tanken att SOMs chef skall jobba med mytbildning…
USA och Sverige kan inte jämföras i samma text. Problemen och utmaningarna i USA är milsvid större än i Sverige. Att ens antyda att de är jämförbara som Johan gör är direkt missvisande.
Sedan går han vidare till Sverige där han tittar på Novus, Ipsos, Demoskop och Sifo
Sifo betas av fort, de redovisar ingen svarsfrekvens, så var det med det, sen går han vidare.
”Däremot tillhandahåller Demoskop en föredömligt detaljerad metodinformation om hur deras väljarbarometer genomförs på sin webbplats, men inte någon specifik svarsfrekvens för en viss undersökning.”
Demoskop har en föredömlig rapportering enligt Johan, trots att de inte alls rapporterar svarsfrekvensen.
Sen kommer vi till de två som redovisar svarsfrekvenser:
”Ipsos och Novus däremot rapporterar båda tydligt och föredömligt svarsfrekvenser för sina väljarbarometrar. Det som däremot förvånar är att deras redovisade svarsfrekvenser skiljer sig häpnadsväckande mycket åt. Ipsos rapporterar exempelvis i deras väljarbarometer veckan före valet 2018 en svarsfrekvens i sin telefonundersökning på 11%, medan Novus i sin undersökning genomförd under i stort sett samma tidsperiod anger 49%! Ipsos siffror ligger alltså något högre än de amerikanske svarsfrekvenserna, men ändå i ungefär samma härad. Novus angivna svarsfrekvenser befinner sig dock i ett annat universum.”
För det första att tro att Svenska undersökningar bör ligga i ”samma härad” som USA är helt obegripligt, förstår inte Johan skillnaderna bättre än så?
Att säga att Novus är i ett annat universum med den inledningen kan jag inte tolka som beröm utan ett direkt ifrågasättande av det vi gör. Trots att Johan vet och längre ned i texten skriver att SCB har en svarsfrekvens på 50 %. Novus och SCB använder liknande metoder. Självklart borde vi ligga på samma nivå.
Det Johan BORDE ifrågasatt om han verkligen ville förstå är hur Ipsos kan ha så låg svarsfrekvens. Samt varför Sifo och Demoskop inte redovisar något alls…
Men istället väljer Johan att fortsätta att misstänkliggöra Novus:
”Det finns dock några skillnader i hur de beskriver sina svarsfrekvenser. Novus använder för det första begreppet ”deltagarfrekvens” istället för svarfrekvens, och dessutom med tillägget ”i sökt urval”. Novus rapporterar inte mer i detalj vad dessa tillägg egentligen betyder och hur beräkningen är gjord. Jag är själv inte bekant med begreppet ”sökt urval” inom statistikområdet och har därför frågat några statistiker om de känner till begreppet, men utan framgång. Jag har tidigare frågat SVT som redovisar Novus väljarbarometrar vad det betyder, men varken de eller Novus har besvarat frågan.”
Till saken är att Johan inte har frågat Novus, jag har inget minne av någon fråga. Jag hittar inga mail om detta, och det är jag som borde fått frågan på Novus. Det har inte heller kommit in några frågor om detta till vår info mail, eller till produktionsansvarig. Jag har kollat och frågat dom.
Nu har Johan jag tagit bort den delen från sin text. Nu har han tydligen inte längre frågat SVT och Novus, nu står det så här:
”Novus rapporterar inte mer i detalj vad dessa tillägg egentligen betyder och hur beräkningen är gjord. Jag är själv inte bekant med begreppet ”sökt urval” inom statistikområdet och har därför frågat några statistiker om de känner till begreppet, men utan framgång.”
Men hur länge låg osanningen uppe, det finns inga rättelser eller ursäkter, utan han tog bara bort det när jag sa att det inte stämmer. Nu har han inte frågat SVT och Novus längre… Varför det ifrågasättandet från början? Har han ens pratat med någon alls? Eller sitter han och hittar på allt?
Om vi nu kommer in på frågor.
Varför frågade inte Johan SIFO och Demoskop om deras svarsfrekvenser?
Varför frågade inte Johan Ipsos om deras extremt låga svarsfrekvens?
Varför verkar Johan ha hakat upp sig på att när han kan ifrågasätta Novus, trots att det är vi som har den metod som troligtvis ligger närmast den beprövade vetenskapen som finns idag?
Sen är det faktiskt så att svarsfrekvensen inte alls är det centrala, det absolut viktigaste är urvalet. Något som Johan gång på gång missat att försvara. Självrekryterade urval är oändligt mycket sämre än ett stort bortfall på ett slumpmässigt urval. Det är inte omtvistat, utan gång på gång bevisat.
Men trots det lyckas Johan chef för SOM fokusera på att ifrågasätta Novus. Varför? För vi är för bra? För att vi tar det vi gör på allvar? Är det bara den ”fina” forskning som skall göra det? Andra forskare använder oss regelbundet för att vi tar undersökningar på allvar, för att vi ser till att göra så rätt man kan.
Jag kan inte tolka detta som annat än att Johan om och om drivas av någon personlig vendetta där man gett sig tusan på att sabotera för Novus, det har pågått i år, känts som en fix idé att ifrågasätta Novus. Han verkar inte ens förstå att det han gör är att ifrågasätta SOMs egna metoder, det han själv är beroende av att alla litar på. Genom att ifrågasätta de vetenskapliga metoder Novus använder ifrågasätter han även sin egen institution.
Inlägget idag var droppen. Att det sedan i smyg redigerats efter att jag tagit upp direkta fel… Jag sparade som tur vad ned hela texten innan, för jag hade det konstigt nog på känn att texten skulle ändras.
Jag skulle kunna gå in på hans telefonnummersättningsexempel också, det är också missvisande i denna kontext, misstänkliggör faktiskt det alla seriösa undersökningsföretag inkl SCB håller på med, men det får bli en annan gång.
Torbjörn Sjöström
VD
Novus
p.s.
Väljarbarometrarna i Sverige fungerade otroligt bra, det är ett hyfsat tecken på att riktiga metoder fungerar i Sverige. Däremot om man ville nörda ned sig i något kring dem så är det faktiskt detta: Om hur metoderna spretar allt mer
För de metodbeskrivningar som Johan ansåg vara föredömliga saknade nämligen inte bara svarsfrekvens, eller extremt låg sådan, de blandar metoder på ett sätt som omöjliggör felmarginaler. En har urval som måste klassas som självrekryterade en annan viktar på GAL-TAN (HUR man gör det är ett mysterium för mig, där jag faktiskt mailat och frågat men inte fått något svar)
Idag är det tyvärr bara Novus och Sifo som ens kan ange en felmarginal. DET borde vara en viktig fråga. Även frågan med olika urval i samma undersökning som tyvärr alla utom Novus nu har…
Nej istället så misstänkliggör man Novus med en utläggning i en text om något som inte ens är den viktigaste frågan kring undersökningars träffsäkerhet… Tvärtom spär man på myten om bortfallet återigen på kuppen.
d.s.