Arkiv 2018

Vad tycker Liberalerna, om SvD:s små baser för en nyhet

12 november, 2018

Jag använder helgens artikel som ett exempel på nyhetsvärdering utifrån undersökningar. Det är viktigt att förstå de olika rollerna.

I helgen kom det en artikel där SvD slog på stort om vad L:s sympatisörer tyckte om Kristersson som statsminister.

Hela artikeln gick ut på en undersökning från SIFO som SvD beställt. Så här skriver man i artikeln: I den aktuella opinionsundersökningen har Sifo utökat sitt underlag, vilket gör att slutsatserna är mer tillförlitliga på partinivå än vanligt. På grund av L:s storlek ska man dock ta siffrorna med en nypa salt, säger Toivo Sjörén, chef för Sifos opinionsundersökningar.

Artikeln finns att läsa i sin helhet här för SvD prenumeranter

Om man inte är prenumerant på SvD så har Omni en kortversion

Detta är viktigt:Ansvarig på Sifo säger att man skall ta resultatet för L med en nypa salt.

Det betyder att undersökningen egentligen inte har stöd för att vara en nyhet.

Varför är det så?

Jo, L har idag ett stöd bland väljarna på ca 4.6 % jag utgår från Novus senaste väljarbarometer. Om man då frågar 1611 slumpmässigt utvalda svenskar, så många i det utökade underlaget så blir antalet L sympatisörer som får frågan ca: 70 stycken.

Här kommer vi in på Toivos kommentar om ”nypa salt”

Om man gör en undersökning så måste man hålla koll på små baser (få antal intervjuer i en undergrupp, i detta fall L sympatisörer). Vår tumregel på Novus är 100 intervjuer, blir det färre än så så skjuter felmarginalen i höjden, men det kan också vara så att urvalet som sådant blir så litet att resultatet blir missvisande, man råkar få en handfull ”ickerepresentativa” röster.

t.ex. vid 74 svar där 24 % av L väljare svarat att de skall rösta för Kristersson, så är felmarginalen 9,7 %. Med andra ord så betyder det att mellan 14 % och 34 % av L:s sympatisörer anser att man skall rösta för Kristersson. Ett spann på 20 procentenheter. Helt plötsligt blir det inte lika solklart. Lägg då till att under 100 intervjuer så kan enstaka ickerepresentativa röster då lite för stort inflytande. Varje svar står för ungefär 1,4 % av totalen av L sympatisörernas svar.

Läs mer om felmarginalen här

Ok, nu till rollfördelningen. Något som är extremt viktigt.

Nyhetsvärdering är redaktörernas roll. Underlaget är undersökningsföretaget.

Till att börja med bör det ju vara sant för att vara nyhetsmässigt relevant i min värld. Är det sant i detta fall? Ja det är nog ganska sannolikt att L mer skulle luta åt en Kristersson regering än en Löfven regering. De röstade ju på L som sade sig vilja ha Kristersson som sin statsminister.

Men undersökningen ger mycket svagt stöd för det. Toivo vet det, därför ”nypa salt” citatet.

Men är det då en nyhet?

Det jag lärt mig utifrån mina kontakter med redaktioner är att man inte skall leverera osäkre siffror. Enligt min erfarenhet så spelar det ingen roll om man säger att det skall tas med en nypa salt. Vilket denna artikel är ett bevis på anser jag.

Det vi på Novus gör, är att vi inte levererar data på för små baser. Det skall extremt mycket till att så sker. 100 intervjuer i en undergrupp är vår huvudregel när det rör sig om allmänheten. Det kan skall mycket till för att avvikelse skall ske. Det kan ske, men då skall det vara extremt tydligt, och ändå skall man inte gå under ca 75 intervjuer. För under det är det inte bara felmarginalen som är problemet, utan det är också större risk att små skevheter i urvalet får en stor inverkan.

Det räcker inte att säga det, för det kan alltid komma någon annan på en redaktion som får tag på siffrorna, sen kan det bli hur spännande nyheter som helst… För ju mindre antal intervjuer desto mer svajjiga siffror, det kan se kul ut nyhetsmässigt, men det är oftast inte sant. Vi släpper inte ut siffror med för få intervjuer till redaktioner, på så sätt stoppar vi att sånt kan ske.

Man kan även undra hur två forskare kunde kommentera denna undersökning utan att reagera. För min reflex på denna var just att det var för få intervjuer. 1600 intervjuer räcker inte för att få ihop 100 L sympatisörer. Man skulle behöva ca 2500 intervjuer mot allmänheten för att komma på rätt sida 100 strecket. Men vad vet jag om hur statsvetare tänker, men man skall komma ihåg att statsvetenskap, inte per automatik betyder att man jobbar med statistiska undersökningar, stat i statsvetenskap står inte för statistik. Även om det är lätt att tro att så är fallet. För är det en undersökning, vem frågar man då?

Sen betyder inte det att resultatet är fel. MEN det viktigaste här är faktiskt att undersökningen har för få intervjuer för att vara kärnan i en nyhetsrapportering. Det är ganska sannolikt att L sympatisörerna stödjer en Kristersson regering. Men undersökningen är inget bevis för det tyvärr. Även om man försöker få det att bli mer trovärdigt med att säga att man har ett större urval.

Ingenstans i artikeln står hur många L eller C sympatisörer som fått frågan. Det är lätt att tro att man bara frågat dom, men då hade inte ”nypa salt” kommentaren funnits med.

Jag antar nu dock att ”sanningen” som satt sig är att vi nu vet vad L:s väljare vill baserat på denna artikel och undersökning. Jag antar också att denna undersökning också rapporteras om i alla seriösa nyhetsmedia. Men inte nog med det den kommer antagligen användas som beslutsunderlag för hur man skall navigera sig i denna lösa materia som är väljarnas välsignelse i en rörig parlamentarisk situation.

Torbjörn Sjöström

VD

Novus

Engelska undersökningsföretag som säljer hemlig data till hedgefonder innan publicering för över 1 miljon dollar? Vad fan hände i UK?

26 oktober, 2018

Engelska undersökningsföretag som säljer hemlig data till hedgefonder innan publicering för över 1 miljon dollar?
Vad fan hände i UK?
Ursäkta svordomen men jag tror ni håller med när ni läser detta.

Inför Brexit valet visade det dig att hedgefonder köpte förtidsdata från undersökningsföretag, bla YouGov (som också finns i Sverige) innan undersökningen publicerades i SKY.

”Just four minutes after the polls had closed, and with meaningful vote counts still more than two hours away, Sky had aired a concession from the world’s most prominent Brexit backer, buttressed by data from YouGov”

”At 10:52 p.m., the pound rose above $1.50 and reached its highest mark in six months. A few minutes later, Ed Conway, the Sky News economics editor, appeared before a giant screen showing the spike. The pound had been tracking polls for months, Conway explained. Whether they were on couches in London or at trading desks in Chicago, people watching Sky or reading headlines sparked by its coverage had every reason to think Remain would prevail. But not quite everyone.

Behind the scenes, a small group of people had a secret—and billions of dollars were at stake. Hedge funds aiming to win big from trades that day had hired YouGov and at least five other polling companies, including Farage’s favorite pollster.”

Man sålde data från en undersökning till hedgefonder innan den publicerades i media, i vetskapen om att att publiceringen av undersökningen skulle komma att påverka världsmarknaden. Med ett försprång med den informationen finns det miljarder att tjäna.

I ett citat från YouGov säger de i princip att det inte är ett brott i och med att de inte gör resultatet tillgängligt publikt, utan bara till enstaka personer, detta enligt deras jurister.

Genom att släppa denna information lite tidigare till några enstaka personer får man betalt en miljon dollar… Enorma summor för en undersökning.

”YouGov’s chief financial officer spoke to lawyers and decided that a single hedge fund could not be considered “a section of the public” but that multiple hedge funds getting the same exit poll might cross the line.”

”It charged the hedge fund roughly $1 million, according to knowledgeable sources. Separately, YouGov gave Sky its poll for free. The hedge fund did extremely well”

I UK är det nämligen olagligt att släppa exit poll data innan vallokalerna stängt. Så det är dessa lagar man refererar till. I Sverige har vi inga lagar om detta, sannolikt för att branschen i Sverige skött sig hyfsat. Men i detta fall är det inte lagen som är problemet.

Här är artikeln om avslöjandet i Bloomberg

Resultatet av denna händelse och Bloombergs avslöjande kan leda till att undersökningar kan klassas som marknadspåverkande uppgifter. Bloomberg skriver om det här.

För det första. Undersökningsbranschen är en förtroendebransch. Jag har tidigare varit starkt kritisk till de aktörer som utövar ett beteende jag absolut inte tycker passar in i en förtroendebransch, tex att kringgå svenska lotterilagen. LÄNK här. Branschorganisationens etiska regler går ut på att man skall följa lagar, att kringgå lagar är inte att följa dem och därmed inget seriösa undersökningsföretag skall hålla på med. Det må vara något man inte kan dömas för, men det är fortfarande inte enligt lagen. Det borde vara ett solklart beteende som inte får försiggå i Sverige.

Men detta är så otroligt mycket värre, det är inte bara att kringgå lagar, eller vara i gråzonen kring hur lagar och regler skall tolkas, det handlar om att påverka ett lands ekonomiska stabilitet.

Dessutom är dessa undersökningar i UK gjorda med själverkryterade paneler och därmed saknar en faktiskt möjlighet att på ett tillförlitligt sätt säga vad befolkningen tycker. Parlamentsvalet i UK var en katastrof av den anledningen. I Brexit valet kom de fram till ”Remain” i en exitpoll, alltså EFTER att britterna röstat… Ja vi vet ju hur fel det var… Att säga att det blir Remain när det blev Brexit är extremt allvarligt.

Jag skrev lite om Brexit valet här, men den texten gällde primärt inte de gjordes med självrekryterade paneler.

Kort sagt undersökningen var inte tillförlitlig kring vad medborgare i UK tyckte i den frågan. En publicering av en otillförlitlig undersökning är inte en publicering av en faktisk folkvilja och en publicering av en upplevd folkvilja har effekter. Det ger sken av en sanning (som i detta fall faktiskt var helt fel) och kommer att påverka som om det var sant. Något som man kan utnyttja för att göra snabba pengar om man till exempel spekulerar i valuta. För marknaden ändras även av en upplevd verklighet, det behöver inte ens vara sant det som sprids. Det räcker att det sprids som en sanning. Allvaret i det är något även massmedia måste förstå.

Sedan kommer vi till nästa problem. Om en kund beställt en undersökning ska dom vara säkra på att den inte kommer någon annan till hands innan. Då bryter man också mot branschens regler i mina ögon. Fast jag antar att man anser att det är en gråzon här då SKY ju inte betalat för undersökningen, utan får det gratis, de kanske inte ens är en kund i deras ögon.

Men det absolut största problemet är faktiskt att man kanske tolkar icke intern kunskap som marknadspåverkande. Med andra ord en undersökning om medborgarnas åsikter, en undersökning som vem som helst kan göra, skulle kunna klassas som marknadspåverkande. Marknadspåverkande information måste publiceras till alla samtidigt, man får inte sitta och hålla på den om man tror man har sådan information. Man får inte heller agera på den.

Men vänta nu, vad skulle det leda till?
99% av alla undersökningar som görs är för att förstå sig på en marknad eller kunder, medlemmar och medborgare. Dessa görs för att kunna förstå varför man inte får fler kunder mm. Det görs i affärsstrategiskt syfte utfört antingen görs de av företaget själva eller via ett undersökningsföretag som Novus. Genom dessa undersökningar skapar man kunskap om till exempel en marknad eller drivkrafter. Dessa undersökningar kan oftast ses som affärshemligheter och en vital del i strategin. Något som inte är menat att spridas och inte vara publikt.

Detta riskerade nu de brittiska undersökningsföretagen att förstöra för alla genom att släppa information som de själva enligt egna jurister kommit fram till att det inte var olagligt. Även om man bara pratar om ett specifikt fall och ett begränsat tillfälle, hedgefonder och nationella val, så öppnar man dörren för något som kan bli mycket problematiskt.

Om man gör något där man kan tjäna en miljon dollar på att släppa information lite tidigare till en aktör som inte beställt undersökningen och man måste kolla om man bryter lagen… Det är ett beteende som över huvud taget inte alls skall förekomma i en förtroendebransch.

Det finns inga ursäkter för det och konsekvenserna kan bli att de förstör en seriös undersökningsbransch genom konstig lagstiftning.  Problemet är dessutom lika mycket redaktionerna som publicerar tvivelaktig information som inte är fakta. Därför behövs det riktiga publiceringsregler, har skrivit lite mer om det här.

Vi som seriösa undersökningsföretag kan inte stillatigande se på när sådant här sker. Det är fruktansvärt, något som absolut inte får ske i en förtroendebransch.

Torbjörn Sjöström
VD
Novus

P.S.
Det finns en lång rad med andra extremt djupa problem här, tex att SKY fick undersökningen gratis, medias ovilja att betala är ett centralt problem för hela marknaden, tex om media betalat för bra undersökningar hade inte självrekryterade undersökningsföretag ens varit en sak vi diskuterat, men det ursäktar absolut inte detta.
Och inlägget blir för långt om jag skall ta upp allt…
D.S.

Om redaktioners checklistor för undersökningar

26 september, 2018

Fredrik Furtenbach på Sveriges Radio är ett föredöme i att göra checklistor för redaktioner som baserar sig på den kunskap som finns. Deras checklista var vad jag vet först av alla redaktioner. Men efter det har flera följt efter. SVT kom för ca 4 år sedan med den checklista jag känner till, och sedan följde TV4, TT och dagstidningarna efter.

Alla har det gemensamt att de inte tillåter självrekryterade paneler. Jag vet att det finns upprörda röster om det, att en självrekryterad panel minsann kom närmast, en annan kom närmast föregående val. Men kärnan i detta är faktiskt att kunna vara säker på om resultatet stämmer när det inte finns ett facit. Då har vi bara slumpmässiga urval att förlita oss till. För väljarbarometern må vara det alla tror är det enda vi sysslar med, oftast är det journalister tänker på när de säger opinionsundersökningar. Men opinionsundersökningar är grunden för nästan all statistik och kunskap som går ut på att man måste fråga vad man tycker, tänker och gör.

Det rör inte bara frågor om politik, utan det rör nästan allt där man behöver kunskap om vårt kollektiva beteende där man inte kan hålla omröstningar eller fråga alla berörda.

Det låter säkert lite kontraproduktivt att vi som undersökare litar på slumpen, men det är faktiskt så. Slumpen gör att åsikterna bland de som tillfrågas blir representativa för hela gruppen som skall undersökas.

Lika bra att påminna om att en undersökning inte är att bara samla in data, utan det består av datainsamling och analys. Det är inte bara siffror, det är för att få kunskap. Där siffror så klart är viktiga, men siffrorna måste vara relevanta och utan förståelse för vad de representerar så blir de lätt helt meningslöst. Tittar man på vissa undersökningar i massmedia så blir det ganska meningslöst, men det är faktiskt inte det vi gör, och jag jobbar hela tiden med att ge en mer rättvisande bild av vad vi faktiskt gör och att det skall synas även i medias rapportering om undersökningar.

Att massmedia har checklistor som inte bara appliceras på vem som kom närmast i valet är då viktigt. T.ex. AAPOR skrev en rapport om självrekryterade paneler, och kunde i den konstatera att inom just politik kom självrekryterade paneler nära för det fanns så mycket annan data att förhålla sig till, inte bara datat i undersökningen. Men det finns inga belägg för att det fungerar i andra sammanhang.

Tar detta fritt från minnet, läste den för några år sedan, men finns inga nya rön som omkullkastar denna, rapporten finns att läsa här: LÄNK TILL AAPORS rapport

Undersökningar är ofta den enda faktakälla som finns, nyheter skall ju vara baserad på kunskap, inte tyckande. Det skall vara nyhetsmässigt intressant, men det måste ju också vara sant.

Slumpmässigheten är också grunden för i vilken omfattning man kan lita på undersökningen. Felmarginalen och om ett resultat är statistiskt säkerställt kräver ett slumpmässigt urval. Och slumpen skall vara utifrån hela gruppen man skall undersöka, är det svenska folket så måste alla ha en känd sannolikhet att bli utvald i undersökningen.

Det räcker alltså inte att ha en websida där vem som helst kan gå till för att säga vad dom tycker. Då kommer drivkrafter att påverka. Slumpen måste ske på undersökningsföretagets initiativ.

Här är ett typexempel på hur fel det blir när EU kommissionen inte förstår skillnaden och agerar på en falsk folkvilja: LÄNK

Har man ingen egen checklista i redaktionen så kan Novus policyråd till redaktioner vara bra input

Ekots och SVTs checklista innehåller ungefär detta:

Slumpmässigt urval: 

Det är urvalet som är det centrala, inte telefon, post eller web, är urvalet slumpmässigt accepteras alla datainsamlingsmetoder. Läs mer om urvalet här LÄNK

Antal svar:

Målet är ofta satt som 1000 intervjuer, i verkligheten finns det ingen sådan gräns, utan fler intervjuer ger en mindre felmarginal vid slumpmässiga urval, och under 100 intervjuer brukar det bli rejält stökigt. Se detta inlägg om felmarginaler: LÄNK

Men media kräver 1000 intervjuer i regel trots det. Det får man förhålla sig till.

Bortfallet:

Mellan 40 och 50 % skall ha svarat. Även här överdriver man lite, för det finns inget stöd för att bortfallet är systematiskt på allmänhetsundersökningar. Det är faktiskt så att allt pekar på motsatsen, bortfall på ca 95 % i USA är inte ovanligt. Trots det är svaren slumpmässiga och träffsäkerheten i USA valen har faktiskt gått upp. Problemen i USA är främst att man inte uppfyller kravet på slumpmässiga urval. Skrev lite om utmaningarna att undersöka i USA här LÄNK

Egentligen är bortfallet något vi undersökningsföretag skall hålla koll på, om bortfallet är högt och vi misstänker att det finns systematiska fel så gör vi en bortfallsanalys. För kom ihåg, vi levererar ju inte siffror, vi levererar kunskap med stöd i siffrorna. Om siffrorna är opålitliga så går det ju inte att lita på dom, då skall inte vi stå bakom undersökningen heller. Hursomhelst 40-50% svarsfrekvens kräver redaktionerna i regel. Det får man förhålla sig till.

Statistiskt säkerställt:

Det har varit en del kritik mot att nyheter dragits upp stort kring skillnader som är inom felmarginalen. Det är redaktionerna allt mer uppmärksamma på. När en redaktion är kund till Novus så hjälper vi dom med detta i sin nyhetsvärdering. Alla våra kunder får hjälp med det faktiskt,  de måste ju veta vad undersökningen säger och vad som kan vara inom felmarginalen. Undersökningar är ju att ta fram kunskap, kunskapen måste ju så klart vara förankrad i verkligheten.

Kan man lita på avsändaren, är det en partsinlaga?

Är frågorna neutrala och vettigt ställda?

Dessa är sannolikt de viktigaste frågorna för en redaktion, kommenterar dessa samtidigt, för de går i varandra. De andra sakerna är hygienfaktorer för att över huvud taget kunna fundera på om undersökningen är rättvisande.

Det är också här mycket av undersökningsföretagets anseende ställs på sin spets.

Novus har publiceringsregler, där vi begär att få se pressutskick innan det publiceras, för att säkerställa att det som skrivs om undersökningsresultatet stämmer med vad undersökningen visar. Om den inte gör det så kan det vara så att vi dementerar rapporteringen om vår egen undersökning. Novus varumärke är garant för att det går rätt till, inte bara ”hygienfaktorerna” ovan utan även att undersökningen ger en rättvisande bild av det som skall undersökas. Vi släpper inte igenom ledande frågor, och vårt mål är att en undersökning från Novus skall ge en rättvisande bild av det som skall undersökas. Sen kan vi göra fel så klart, gör vi det så tar vi ansvar för det. För ett undersökningsföretag verkar i förtroendebranschen. Vi måste ha respondenternas, kundernas och medias förtroende. Vi måste stå för en opartiskhet så gör att man kan lita på en Novusundersökning oavsett vem som beställd den och oavsett var den sedan presenteras. I dagsläget har vi ett gott förtroende från alla parter grundförklaringen till varför Novus undersökningar efterfrågas så mycket, och att man ser Novus refereras till så mycket i massmedia. Men vi kan inte slappna av. Vi måste hela tiden se till att göra vårt jobb så bra det går.

Att redaktionerna har bra checklistor är otroligt viktigt för förtroendet för de nyheter som dagligen produceras baserat på undersökningar. För ett undersökningsföretag att uppfylla dessa checklistor är precis lika viktigt. Sen kan vi ha synpunkter på detaljer i vissa punkter i checklistorna, men i grunden är det bättre att de är lite för tuffa istället för att de är slappa. Skrev en text om det i medievärlden häromdagen: Medierna skapade den felaktiga bilden av opinionen

Mao detta måste en undersökning uppfylla för att klara de mest seriösa nyhetsredaktionerna i Sverige:

  • Slumpmässiga urval?
  • Felmarginaler?
  • Är resultatet statistiskt säkerställt?
  • Har tillräckligt många svarat?
  • Kan du lita på avsändaren?
  • Är frågan neutral och vettigt ställd?

Nu skulle någon av mina konkurrenter gå i taket om jag säger något om vilka som uppfyller vad, så jag håller tyst. Men igår slog det mig att det bara är Novus som faktiskt uppfyller alla dessa krav i de undersökningar vi genomför mot allmänheten (i de flesta andra också, men vissa grupper är svårare att undersöka än andra, tex ibland går det inte ens att uppbringa 1000 svar i en liten grupp).

En del företag faller på slumpurval, en del på att bortfallet inte redovisas, en del på att bortfallet är för hög. De tre sista punkterna är mer en bedömningsfråga från undersökning till undersökning och går så klart inte att uttala sig om generellt, men vi på Novus arbetar hårt med dessa frågor oavsett om en undersökning skall publiceras eller inte, för det spelar ingen roll i vår värld. Alla undersökningar vi gör skall ge relevant kunskap. Vissa publiceras, de flesta används som beslutsunderlag i företag och organisationers strategiska arbete.

Torbjörn Sjöström
VD
Novus

Valet är klart, vem var bäst?

18 september, 2018

Igår var jag på en valanalys tillsammans med KG Bergström, intressant på många sätt. Där försökte jag förklara att det inte går att säga vem som var bäst, för att väljarbarometern inte förutsäger framtiden, utan jobbar med nutiden. Hans kommentar var då denna: ”Det hade du aldrig sagt om ni inte var så dåliga”, ”Demoskops och Inizios prognoser var bättre”, ”Hur kunde de fånga förändringar som ni missade?”

Ja, vad skall man säga…

Det var liksom ingen idé att prata mer om det igår.

Vem var bäst då? Undersökningsbranschen vann! Om man tittar på de metoder som har slumpmässiga urval som grund var valresultatet ingen överraskning. Men även om man inräknar de förändringar så var det inte så att man kan säga att undersökningar inte gav en rättvisande bild innan valet, och under denna mandatperiod.

Ni som läser bloggen vet att en undersökning inte är en framtidsförutsägelse. Att Moderaterna och Socialdemokraterna gick upp de sista dagarna. Att vi i Novus väljarbarometer inte kunde se M och S uppgång på torsdagen när vi slutade undersöka. Och vårt mål är INTE att förutsäga valresultatet. Vi är inga spågummor. Det unika i år var väljarrörelsen som skedde mycket sent. KD:s uppgång kom sent, men den såg vi. Däremot uppgången för S och M kom ännu senare.

Men om vi nu struntar i det och tittar på siffrorna. Vem var egentligen ”bäst”?

Genomsnittliga felet brukar vara det man tittar på. Gjorde några grafer här, uppdaterat med de senaste valresultatet.

Undersökningarna är ordnade efter när dom publicerades. VALU och TV4 kom på valdagen. SKOP, och Aftonbladet publicerades den 8 sept, Demoskop, Sifo, Novus den 7:e, Ipsos den 6:e, Yougov den 4:e och Sentio den 31 augusti.

Förresten en not om VALU, den publicerades på valdagen, men datainsamlingen var hela veckan. Den enda som bara hade datainsamling på valdagen var TV4, om jag inte missat något om den.

Det som är mest intressant är Socialdemokraterna. Alla hade för lågt där.

I eftervalsundersökningen kan jag se att det beror på en mycket sen uppgång för S. Efter vi slutade undersöka så gick S upp rejält. Något som var omöjligt att se i undersökningen på torsdagen.

Moderaterna likaså. Alla utom Aftonbladet underskattade M. Varför Aftonbladet inte gjorde det är okart, det kan lika gärna vara slumpen. Att hävda att man har en skameffekt på M tror jag ingen skulle argumentera för. För Moderaternas uppgång kom efter att vi slutat undersöka, enligt Novus eftervalsundersökning.

Att V överskattades är en följdeffekt av att S uppgång inte fångades upp.

I Novus väljarbarometer kan vi även förklara SD:s ”överskattning” genom sena rörelser till M. Skrev förresten om det ett par veckor innan valet. Jag hade med andra ord inte helt fel i min tanke i augusti om att M skulle få stödröster från SD.

Hur är det med metodjämförelser? Alla undersökningar baserat på slumpmässigt urval, mao de som det finns ett vetenskapligt stöd för visade en samstämmig bild. Alla missade M och S sena uppgång, för de förflyttningarna hände efter undersökningarna gjordes. Demoskop hade ytterligare en dags undersökning, vilket kan gjort att de fångade lite mer av förändringen. Eller så är det bara slumpen.

De självrekryterade är mer splittrade. Aftonbladet/Inizio utropade sig själva som vinnare. Äntligen kan vi börja prata om metodutveckling och transparens, skrev Karin Nelsson Inizio på sin Facebook. Förresten, jag skulle verkligen se lite transparens från dem. De har skrivit om att det inte är urvalet som räknas utan det är hur man behandlar datat. Inizios VD har sagt att man måste vikta på åsikter, eller som han sa ”om man gillar chokladglass”. Samtidigt är man jättenoggrann med att säga att man inte gör det i väljarbarometern. Jag får inte ihop det. Man vet inte hur stor panelen är eller vilken svarsfrekvens de har. Inte heller hur de kan bearbeta sin data utan att bearbeta den på annat sätt än vi andra gör med våra slumpmässiga urval.

Inizio är i mina ögon outlayern kring de självrekryterade urvalen. De urval som saknar vetenskapligt stöd. Yougov och Sentio är mer samstämmiga, och påvisar just de ”aktivistbeteenden” som är så lätt att råka ut för om man har en självrekryterad panel. Mao de som vill påverka är mer troliga att vilja vara med för att säga sin mening. Det kan även vara så att man verkligen vill visa hur viktig en fråga är, att man registrerar sig några extra gånger.

Dan Hedlin skrev om detta kring bland annat Inizios panel. Varför det inte syns i deras valundersökning, men samtidigt är så otroligt påtagligt i de andra självrekryterade förstår jag inte. Därför vore den transparensen man pratar om mycket intressant att se.

Vem var bäst då? Undersökningsbranschen vann! Om man tittar på de metoder som har slumpmässiga urval som grund var valresultatet ingen överraskning. Men även om man inräknar de förändringar så var det inte så att man kan säga att undersökningar inte gav en rättvisande bild innan valet, och under denna mandatperiod.

Bara man struntar i att titta på de självrekryterade panelerna. För där har vi problem, delvis att två av dom var extremt missvisande och den som inte var det låg i linje med traditionella metoder. Att säga att någon undersökning var överlägsen någon annan är faktiskt bara fånigt. För det har aldrig varit sant i Sverige. Däremot kan vi konstatera att SD inte underskattades den här gången, och att det är fel att påstå att SD inte kan undersökas i Sverige. Så nu kanske vi slipper höra det tramset. Vi kanske också slipper förklara att ett aktivistbeteende inte kan misstas för att vara folkviljan, utan istället faktiskt lita på den vetenskap som finns.

Visst ska vi jobba med metodutveckling, men att kasta ut fungerande metoder pga någon absurd förändringsvilja är bara dumt.

Torbjörn Sjöström

VD

Novus

 

 

Bortom sannolikhetsurval? Och andra dumheter

15 september, 2018

Ett föränderligt surveylandskap – möjliga strategier bortom traditionella sannolikhetsurval ?

Jag blev inbjuden till den årliga branschdagen i Linköping, och dagen handlar om möjliga strategier bortom sannolikhetsurval. Inledningstalet handlar om ett möjligt paradigmskifte?!?!

Den frågan har fastnat i huvudet. Å ena sidan kan man bara avfärda det som dumheter. Men problemet är att vi nu håller på att översköljas av dumheter. Man skapar falska förutsättningar och fastställer de som det centrala problemet. För det är dumheter.

De ”alternativa” lösningar som finns, är ungefär lika alternativa som alternativ nyhetsmedia. Det är inte alternativ, det är metoder som är långt utanför vad man kan förlita sig på om man vill vara säker på att man har ett pålitligt undersökningsresultat.

Bortfallet anses vara det helt centrala problemet och man konstaterar därför felaktigt att det inte går att efterskapa ett pålitligt sannolikhetsurval. Samma personer blandar ihop åsiktsrepresentativitet, med demografisk representativitet, om det är på grund av okunskap eller illvilja vet jag faktiskt inte.

Man hävdar:

Att bortfallet per definition skulle vara åsiktsmässigt systematiskt, inte slumpmässigt.
Att felmarginaler inte finns längre.

Vi har alltså idag konkurrenter som på allvar både argumenterar för att man inte kan lita på den traditionella kunskapen och vetenskap som finns. Att man inte ens kan säkerställa vilken osäkerhetsgrad man har i undersökningarna. Men samtidigt argumenterar för de helt ovetenskapliga metoder som en lösning på problem (som är extremt överdrivna). Argumentet är att de beprövade metoderna inte fungerar, därför skall man använda obeprövade metoder, som saknar forskningsstöd, och saknar ens en definition av hur säker man är på att undersökningarna stämmer… Logiken haltar fullständigt. Det är inte bara du som läser som ser det.

Konstigt nog så håller man på så. Många i branschen går allt mer mot att släppa kunskapen som finns och försöka gissa sig fram, med om man har tur, anekdotisk bevisföring. Liknande denna: En undersökning baserad på en självrekryterad panel kom lika nära, eller kanske tom lite närmare än de baserade på ett slumpmässigt urval.

Men vänta nu, om det inte går att genomföra undersökningar med slumpmässiga urval, hur kommer det sig då att man är stolt när man kommer lika nära som en sådan?

Hur kommer det sig att undersökningar baserade på slumpmässiga urval fortfarande fungerar?

T.om. när bortfallet är upp till 95 %, mao vara 5 av hundra svara på undersökningen? Så är fallet i USA.

Hur kommer det sig att forskningen kring bortfall inte alls pekar på att det finns den gräns som de som förespråkar självrekryterade hävdar? Alla studier jag sett stödjer snarare det faktum att osäkerheten blir lite större vid högre bortfall. MEN det betyder inte att undersökningen blir helt missvisande.

Hur kommer det sig att när man släpper det slumpmässiga urvalet och istället genomför undersökningar på självrekryterade paneler, kan man genom undersökningarna lura ett helt land. I Sverige att SD skulle kunna bli Sveriges största parti. Något vi aldrig såg i våra undersökningar. Vi såg att SD under en period hade chans att bli näst störst om det varit val just då. MEN inte största parti.

Alltså såhär: Ja undersökningsmetoderna måste anpassa sig efter den tekniska utvecklingen.

Nej det är inte lätt att göra bra undersökningar.

Nej det är inte gratis att genomföra undersökningar.

Nej det är inte rätt lösning att kasta bort det vi vet.

Nej det är inte rätt lösning att låtsas att vi har problem vi inte har.

Om en undersökning MÅSTE korrigeras mot kända åsikter, åsikter som man bara kan få fram genom andra undersökningar, så fungerar inte undersökningsmetodiken.

Nej det är inte ärligt att begära pengar för ”undersökningar” som inte stödjer sig på de metoder vi idag vet fungerar.

Ja man kan arbeta med metodutveckling. Men den metodutvecklingen kan inte sägas fungera förrän den faktiskt kan bevisas fungera. För att bevisa det kan man inte ha en svart låda. Dessa bevis måste ske öppet, men öppen data, och öppna beräkningar. Det finns inga sådana bevis. För den delen, varför ens slösa tid på att försöka. Oddsen är emot en. Varför inte istället lägga energin på att förbättra det vi idag arbetar med. Novus väg framåt är att förbättra, inte börja om från början. Det är verklighetsfrånvänt, och slöseri med energi och pengar.

Tar vi väljarbarometern som exempel kan man inte hävda att man kom närmast om det samtidigt finns flera undersökningar som man kan förhålla sig till som bevisligen funderar, genomförd med metoder som är fastställda att de fungerar. AAPOR konstaterade det i sin rapport om självrekryterade paneler. Nate Silver konstaterade att de pågick ”herding” i USA. De tecken som finns är att man snarare utgår från de undersökningar som finns och sedan låter de ha en stark inverkan på hur resultatet blir när man presenterar en självrekryterad undersökning.

Visst kan det finnas något bortom sannolikhetsurval.

Visst kan det vara kul att laborera och fundera. Men det är snarare så att man behöver förädla och förbättra. Inte kasta ut en välfungerande metod. Gör man undersökningarna korrekt fungerar de i alla länder, olika bra så klart, men där pratar vi om utmaningar av en annan kaliber. Ofullständiga kommunikationer, ofullständiga befolkningsregister etc.

Många misstar dålig metod med att det är omöjligt att göra saker bra. När sanningen är den att det genomförs dåliga metoder för någon ansåg att det inte var värt att göra det ordentligt.

Tyvärr i dagens mediaklimat är åsikter mer värda än fakta, så säger man något provocerande som kittlar fantasin så är det mer värt än den fakta som faktiskt finns.

Men Novus som är ett seriöst kunskapsföretag kan inte syssla med sådant. Vi måste utgå från den kunskap som finns, jag anser att det skulle vara bedrägeri om vi tog betalt för något som inte lutade sig mot den kunskap som finns idag.

Att vi har haft massmedia som slagit på stora trumman baserat på undersökningar som t.om. bryter mot de egna publiceringsreglerna och presenterat helt osannolika siffror för Sverigedemokraternas stöd är faktiskt något som leder till en djup misstro mot demokratin. Det är oansvarigt, och hade det inte varit Metro som varit källan antar jag att viralgranskaren satt tänderna i det…

Men det vore väl bra med lite faktakollar nu. Tex DI:s förstasida där SD kunde bli Sveriges största parti, den var FAKTISKT HELT FEL. Publiceringar som den hade aldrig hänt om redaktionerna följt sina egna publiceringsregler.

Torbjörn Sjöström

VD

Novus

p.s.

jag funderar starkt på att inte gå på årets branschmöte när hela dagen går ut på att prata om en falsk problemföreställning. Trots att jag är inbjuden talare, och har tackat ja. För det är ett hån mot alla seriösa undersökare att ens slösa en hel dag kring ickerelevanta frågor och hittepålösningar

d.s.