Det är aldrig BARA en väljarbarometer. Del 3 om Demoskops debattartikel

Jag stötte ihop med Demoskops VD i en reception idag, ett oväntat möte kan man säga, vi båda hade ärende i samma hus men till två olika bolag.

Jag var ju tvungen att påpeka att de gjort många upprörda genom att de hävdar att man inte kan göra undersökningar genom slumpmässiga urval längre.

Demoskops VD hävdade med bestämdhet att det BARA gäller väljarbarometern. Att den inte går att genomföra längre via telefon. Men om man har riktade små målgrupper till exempel. Då kunde telefon fungera. Diskussionen pågick ett tag sedan behövde vi alla gå till respektive möte. Men detta var det centrala i diskussionen: Det handlar BARA om väljarbarometern.

Vad betyder detta då? Att det BARA skulle handla om väljarbarometern. Man skickar in ”bevis” för att det finns ett systematiskt bortfall baserat på partisympati. Att bl.a. Moderater i mindre omfattning svarar i telefon.

OM man nu har ett åsiktsmässigt systematiskt bortfall, och t.ex. missar Moderater, ger man sken av att det är höginkomsttagare man inte når via slumpmässiga urval. De slumpmässiga panelerna rekryteras också främst via telefon, det innebär alltså enligt deras resonemang att man inte når dom via slumpmässig panel heller. Sympatiserar man med ett parti säger det en del om andra saker i ens livssituation, även t.ex. konsumtionsbeteendet. Alltså kan man inte undersöka t.ex. Moderater via telefon eller slumpmässig panel kan man inte heller undersöka t.ex. konsumtionsbeteende bland alla grupper. Hur kan man då över huvud taget genomföra undersökningar som stämmer med deras åsikter och beteende oavsett fråga? Politik är en mycket liten del av det man undersöker. Politiska preferenser är inte en isolerad åsikt hos en människa. Tvärtom. Det hänger ihop med stora delar av dess värderingar och livssituation.

Väljarbarometern är inte heller en udda fågel i undersökningsvärlden, tvärtom.

Dags att återigen förklara vad väljarbarometern verkligen är och betyder för branschen:

1. Bevis för att undersökningarna man säljer är pålitliga
2. Best practice för undersökningsföretaget
3. Poängställningen i den politiska matchen mellan valen
4. Bra nyhetsvärde för redaktionerna

Det är 1 & 2 som är viktigast för undersökningsföretag om man förstår sin roll i samhället och vilken produkt man faktiskt säljer idag och i framtiden. Men dessa levereras och publiceras pga 3 & 4

1: Bevis för att undersökningarna man säljer är pålitliga

Detta är det absolut viktigaste för undersökningsbranschen. Statistik är otroligt komplicerat. Börja med att få någon att förstå att undersökningar litar på slumpen, sedan blir det bara krångligare och krångligare… Lägg till att statistiker börjar med att prata enbart om felkällor.

Där är offentliga val jätteviktiga. Genom att visa att undersökningar fungerar i folkomröstningar kan vi enkelt peka på att de metoder våra kunder köper och där undersökningen är ENDA facit de har faktiskt går att lita på. Men man kan lita på det för man vet att väljarbarometern ger en bra bild av det politiska läget mellan och innan val.

2: Best practice för undersökningsföretaget

Alla har inte råd att beställa det absolut bästa man kan leverera som undersökningsföretag. Ofta räcker det med att man får en ungefärlig bild av en fråga. Man behöver inte ha den noggrannhet som väljarbarometern levererar. Novus genomsnittliga fel inför senaste valet var 0,8 procentenheter. Men vi måste visa upp vår bästa produkt i det offentliga. Novus värdesätter därför stabila siffror, många intervjuer och att vi visar att gör man det riktigt ordentligt i alla steg så är våra undersökningar mycket tillförlitliga. Sedan kan man arbeta med slumpmässiga urval, Novus panel till exempel för att på ett tillförlitligt sätt förstå marknaden, samhällsfrågor etc. inte med exakt samma höga noggrannhet, men mer än väl så tillförlitligt som man behöver. Oavsett vad man gör så skall Novus leverera ett beslutsunderlag som är tillförlitligt. Men det behöver inte alltid vara ”premium produkten”.

Däremot om väljarbarometern inte är det bästa man kan göra har man problem med hela sin affär och trovärdighet. Då sätter man inte heller ribban på den nivå som man faktiskt kan prestera.

Det är faktiskt så att väljarbarometern kommer att bli kundens syn av det bästa undersökningsföretaget kan prestera. Alltså är väljarbarometern något som saknar felmarginaler eller andra mått på säkerhet. Då visar man att man inte kan leverera tillförlitliga undersökningar någonstans.

Alla Novus undersökningar har dessa tillförlitlighetsmått och är baserade på slumpmässiga urval av den anledningen.  Väljarbarometern är därför vårt sätt att visa en best practice och en premium produkt.  De offentliga valen är vårt bevis. Det finns ingen som kan säga emot detta faktum. Sedan kan någon säga att man kom lite närmare någon enstaka gång. Men ingen har lyckats göra det mer än en gång samtidigt som riktiga undersökningar inte har fungerat. Det finns inget ”alternativ” som är bättre och mer pålitligt än riktiga undersökningar baserat på slumpmässiga urval. Bevisen för ”alternativa” metoder är inte heller att säga att pålitliga metoder fungerar. När de också bevisligen gör det. Än så länge har jag inte gått in i detalj på Demoskops ”bevis”, de är så absurda och så bristfälliga att de är svårt att förhålla sig till dem på ett seriöst sätt. Särskilt som man direkt kan avfärda dem genom att visa att Novus väljarbarometern gav en rättvisande bild i alla val som varit. Inklusive det som var nu 2019.

3: Poängställningen i den politiska matchen mellan valen

Väljarbarometern är en viktig demokratisk röst mellan valen. Om väljarna inte uppskattar sittande regeringen mellan valen är faktiskt väljarbarometern den demokratiska temperaturmätningen. Utan den försvinner faktiskt ett viktigt verktyg att på ett oberoende sätt få en första bild av väljarnas syn på regeringen och politiken. Det är inte det enda verktyget, men precis som med en termometer utanför fönstret får man hjälp att förstå hur man skall bete sig under dagen. Väljarbarometrar baserade på slumpmässiga urval är också enda sättet att stå emot påverkansaktioner. Där spelar det ingen roll hur mycket en individ skriker, utan det är först när många skriker samtidigt som det blir synligt. Alltså det går inte att vara en självutnämnd folkets företrädare och inte ha folkets stöd i en bra undersökning. Förutsatt så klart att vi som oberoende undersökningsföretag gör vårt jobb ordentligt och tar det på allvar. Vi måste ha metodmässigt stöd och vi måste ha allmänhetens, medias och politikers förtroende. Vi måste ha integritet. Men har vi det är vi ett ovärderligt verktyg i en stabil demokrati. Men det kan inte vara det om inte punkt ett och två ovan också stämmer.

4: Bra nyhetsvärde för redaktionerna

Detta är en direkt följd av alla ovanstående punkter 1, 2 & 3. Eftersom man kan lita på väljarbarometern, för att den är en viktig demokratiskt temperaturmätare är det också nyhetsmässigt intressant. Sanningen är ju den att man inte kan säga om något är nyhetsmässigt intressant om man inte kan avgöra om det är sant.

Det är aldrig bara en väljarbarometer

Det är alltså aldrig BARA väljarbarometern man pratar om, inte ens när man bara pratar om väljarbarometern. Det är hela undersökningsbranschens tillförlitlighet. Men inte bara det. Det är även forskningens och den offentliga statistikens tillförlitlighet man underminerar. Säger man att det inte fungerar, då gäller det att ha på fötterna ordentligt. Men att inte ens förstå att väljarbarometern inte är en isolerad företeelse?

Att Demoskop inte förstår det är kanske inte unikt, flera aktörer har glömt bort detta och man har sedan länge sett trenden att snåla på väljarbarometern för man inte anser sig tjäna tillräckligt med pengar på den. Sedan undrar man varför kundernas betalningsvilja sjunker? En ledtråd, se 1 – 4 ovan… Om man inte följer dessa punkter? Hur kan man då tro att kunderna skall förstå att det man levererar är av värde och tillförlitligt?

Om man inte förstår sin egen roll på sin egen marknad?

Om man inte förstår sina produkters roll för kunder och samhället?

Kan man då med trovärdighet leverera insikter kring marknader, politik och mänskligt beteende?

Det är inte BARA väljarbarometern man säger inte fungerar enligt beprövade metoder, det man gör är att underminera sin egen affär och roll. Tyvärr underminerar man inte bara sin egen roll. Man underminerar även forskningen, undersökningsbranschen och den offentliga statistiken.

Lägg då till att de argument Demoskop använder för att ändra ”bara” väljarbarometern inte alls stämmer med den forskning som finns. Den stämmer inte heller med Novus kunskap kring de metoder vi VET fungerar.

Den stämmer inte heller med det enda facit vi har utöver forskningen: De nationella valen. Det beviset borde räcka för alla. Att säga något annat är ju en direkt lögn.

Det går utmärkt att genomföra undersökningar via webintervjuer. Man måste absolut inte göra telefonintervjuer. Men det måste vara slumpmässiga urval oavsett. Panelen måste vara slumpmässigt rekryterad. Annars tappar man den grund som all forskning står på. Då är man på långt ute på djupt vatten utan flytväst i en båt man själv borrar hål i. Det är precis så dumt som det låter.

Oavsett metod måste undersökningsföretaget göra sitt arbete. Vi måste vara noggranna med alla delar. Novus arbetar hela tiden med detta. Varje insamlingsmetod har sina för och nackdelar. I alla undersökningar Novus gör står vi för tillförlitligheten. Vår väljarbarometer är det bästa man kan göra idag. Det är aldrig BARA en väljarbarometer, utan alla undersökningar måste vara trovärdiga och ha stöd i en forskning som finns och som vi vet fungerar.

Man skall heller aldrig snåla med kunskap, då är man verkligen dumsnål.

Torbjörn Sjöström

VD

Novus

Tidigare inlägg i bloggen om Demoskops debattartikeln om att de inte kommer använda telefonintervjuer eller slumpmässiga urval finns här:

Novus var bäst i senaste valet, Demoskop var faktiskt sämst.

Kan man ens vara närmast i valet?

Förresten, i Demoskops debattartikel refererar de till en egen metodstudie där två företag ombads att leverera telefonintervjuer. Jag vet vilka de är, men tänker inte heller nämna deras namn. Det jag däremot kan säga är att minst en av dessa fick en ”offertförfrågan” från Demoskop på att leverera väljarbarometern till dem. En affär värd ganska mycket pengar. En del i denna offertförfrågan var att leverera testdata gratis för ”utvärdering”. Data som sedan användes som bevis för att telefonundersökningar inte fungerar i debattartikeln. Alltså man bad en leverantör att arbeta gratis under vad som nu ser ut som falska förespeglingar. Man har inte ens betalat för telefonundersökningarna som sedan används som ”bevis” mot telefonundersökningar som metod. Inte nog med det, de håller inte heller med om hur Demoskop räknat i sammanställningen, utan säger att man sammanställt det så det ser sämre ut än vad det faktiskt är.

Jag häpnade över fräckheten när jag hörde detta.