Vad är herding?

Jag har ju skrivit en del om herding innan (t.ex. Nate Silvers upptäckt av det i USA), men tänkte det var läge att försöka skriva en enkel sammanfattning.

Detta är självklart inget Novus gör. Våra undersökningar står alltid på egna ben. Det är ju grundsyftet med undersökningen att man kan lita på den som en isolerad händelse och inte är beroende av andras undersökningar.

Vi vet att det görs utomlands (Länk till Nate Silvers bevis). Om det sker i Sverige eller inte är inget jag kan uttala mig om, däremot ser det lite konstigt ut ibland, kolla t.ex. på denna sammanställning kring hur det skiljer sig åt på SDs siffror i olika väljarbarometrar.
Den som sysslar med herding kommer sannolikt inte erkänna det, för det är inget man kan vara stolt över, då det per definition betyder att den egna undersökningen inte är att lita på.

Ordet herding kommer från att man försöker hålla sig till flocken. Är det något som är så väl-undersökt, att man redan innan undersökningen vet var den bör hamna ungefär så korrigeras den egna undersökningen så den hamnar i samma härad.

Herding innebär i undersökningsvärlden att man ser andra undersökningar som facit. Bygger upp sin modell med hjälp av dem och ser till att hamna ungefär på samma nivå som de andra. Oftast är då facit, konkurrenters undersökningar, enskilda eller sammanslagna/sammanvägda.

Men även om egna undersökningar behandlas som facit i modellen är det herding. Den aktuella undersökningen som anpassas är då mindre tillförlitlig, inte alls så omfattande som den egentligen behöver vara.

Det mest uppenbara är att självrekryterade paneler som verkar kräva herding. Men inte bara det. Herding kan anses vara även om man har en del med telefonintervjuer som får agera ”mer rätt” än den andra delen med webintervjuer om man slår ihop dessa två. Eller om en webundersökning trimmas in mot egna regelbundna telefonintervjuer.

Att se en tidigare genomförd undersökning som ett facit man använder för att trimma in en annan undersökning är herding.

Målet är alltid att få ungefär samma resultat men till en lägre kostnad.

Men där är också det också problematiska i detta. En undersökning är ju en metod eller en process för att få kunskap.  Man gör undersökningar när det saknas facit.

Men det finns undantag från detta, den tydligaste är väljarbarometern. Varje redaktion med självaktning i världen vill ha sin egen väljarbarometer. För det är deras egen nyhet. Men redaktionerna har ju inte råd att betala för undersökningarna. Undersökningsföretagen förväntas leverera avancerade undersökningar i ett område utan att få allt så mycket betalt som det kostar att ta fram det. Precis som allt annat så kostar ju även undersökningar mer att göra nu än tidigare. Vi har inflation och lönerna går ju upp varje år, att göra saker ordentligt kostar så klart pengar för varje år som går. Självklart drabbar det också undersökningsföretagen. Det finns inga magiska lösningar som gör att det går att undersöka gratis. Tekniken har gjort vissa saker billigare, men andra saker dyrare.

Krocken blir rejäl när man då förväntas leverera väljarbarometern nästan gratis. Det är också den undersökning som man egentligen inte har råd att göra fel på. Novus lösning har varit att göra väljarbarometern ännu bättre. Att göra den metodmässigt så bra det bara går. Vi får inte mer betalt för väljarbarometern pga det. Men det är den undersökning som man faktiskt inte har råd att göra bort sig i. Herding är absolut inte lösningen.

Nate Silver födde idén kring herding. Han insåg att man kunde hitta systematiska fel i undersökningarna i USA, genom att gissa dessa och slå ihop undersökningarna kom han närmare det faktiska valresultatet. Han blev hyllad som hjälte: ”Undersökningar är döda, länge leve Nate Silver!”! Jag fick frågan några gånger av svenska journalister om vem som skulle bli sveriges Nate Silver. Jag svarade att det inte var relevant. USA är mycket svårare att undersöka och i Sverige har vi extremt bra metoder och undersökningarna är faktiskt mer träffsäkra än man kan förvänta sig.

Men vissa undersökningsföretag såg sannolikt att detta var en smart sak. I USA är det jättesvårt (läs jättedyrt) att undersöka. Betalningsviljan hos kunden var nära noll. Varför inte göra lite enklare undersökningar och sen lita på att de andra gör en stor del av det tunga jobbet? Mao se andra undersökningar som facit man skall komma nära. Korrigera den egna metoden så den kommer nära de andra undersökningarna och hitta en billigare metod.

Man skapade då en algoritm som utifrån från ett aktuellt facit baserat på andra undersökningar generade ett resultat som kom nära det. Detta är inte att förväxla med viktning som alla undersökningsföretag hela tiden använt. I viktning korrigerar man de slumpmässiga urvalsfelen som kan ske, tex man vet hur många män och kvinnor som bor i landet. Man ser att man nått lite fler kvinnor än man borde. Då blir kvinnans röst lite mindre värd för att få deras samlade svar att inte väga för mycket jämfört med fördelningen mellan män och kvinnor. Så gör man på en del kända parametrar där man har ett otvetydigt facit. Alltså baserat på kända fakta. Viktningen utgår inte från undersökningar utan från kända fakta.

Men herding kan ses som att man skapar en egen vikt baserat på andra undersökningar, alltså inte fakta utan undersökningar som man anser vara typ som fakta.

Undersökningar är extremt tillförlitliga, men normala undersökningar har utifrån att skapa offentlig statistik inte nog träffsäkerhet. Det går att göra så klart, men det är inte den typen av undersökningar man använder som grund för herding.

Syftet är mao att spara pengar. Att inte göra allt det tunga dyra arbetet själv. Hitta en metod som är en ungefärlig representation men utan att ha den vetenskapliga grund som en traditionell undersökning har.

Resultatet får vara beviset för träffsäkerheten.

Men vad händer om alla skulle göra så? Då skulle vi hamna i en blind leder en blid, när ingen hade vetenskaplig grund för sina egna undersökningar, utan bara försökte få ungefär samma resultat som konkurrenten. Något som också Nate Silver noterat i USA. Men också engelska parlamentsvalet. Alla visade på samma resultat. Alla hade fel… Just det Nate Silver kunde bara applicera sin metod en gång, för när en del började göra det själv så försvann de systematiska skevheterna från de publicerade undersökningarna och alla började visa samma fel. Vad skapar man för bild av undersökningsbranschen med det? Dumsnål är nog en bra sammanfattning. Man anser sig inte ha råd att göra bra undersökningar i den enda där det kommer ett facit…

Faran är inte bara att man gör bort sig (och skadar hela branschen). Faran är också att den modell man bygger upp i bästa fall endast funkar för en sorts undersökning. Exakt den man trimmat in den mot. Oftast väljarbarometern. Den går inte att använda för något annat. Men så kan man inte tänka när uppdraget är att ta fram facit i de frågor som skall undersökas. Jon Krosnick visar i sin forskning att självrekryterade paneler i bästa fall fungerar där det finns ett känt facit, och endast för att komma nära det kända facit som användts för att rikta in undersökningen. Inget annat. Mao man har byggt en specialmodell som funkar (ibland) för att komma fram till samma resultat som riktiga undersökningar, men bara när man redan vet vad resultatet borde vara… Men det kan också bli jättefel, som i USA valet och Engelska parlamentsvalet för att ta två rejäla exempel.

Finns också en bra artikel om detta på AAPORs hemsida, men den begränsar sig till politiska undersökningar, vilket det i praktiken enbart finns i, men det behöver inte vara så:

https://www.aapor.org/Education-Resources/Election-Polling-Resources/Herding.aspx

Torbjörn Sjöström

VD

Novus