Yrkeskunskap vs svarta lådor

Väljarbarometern är det bästa exemplet på vad vi kan göra utifrån vår yrkeskunskap. Det är den vi på Novus ställer längst fram i vårt skyltfönster. Väljarbarometern är alltid en nyhet och den är alltid intressant. Därför är det avgörande för oss att den är det bästa exemplet på vad vi kan göra som undersökningsföretag.

Mitt föredrag på Stanford gav mig en möjlighet att reflektera lite extra, och sätta på pränt i den presentationen hur vi arbetat de senaste sju åren. När man skall beskriva utmaningarna, utvecklingen för branschen, mediekrisen och effekterna på det mänskliga beteendet inser man också hur vissa saker som kan verka små faktiskt symboliskt är mycket stora. Väljarbarometerns förändring är en sådan. En gnagande känsla som varit de senaste två åren men som jag inte skrivit om. Därför är det läge att sprida lite ljus över den frågan och tyvärr antagligen sabotera julefriden på lite olika ställen. Men problemet är inte dålig stämning, utan man kan faktiskt inte visa på det som är bra om man inte tar avstånd från det som är dåligt. En generell insikt alla borde reflektera över, oavsett verksamhet och bransch.

Förr var detta en självklarhet för alla undersökningsföretag: Att väljarbarometern representerade det bästa i metodväg vi kunde leverera. Den undersökningen definierade hela branschen, och det kom ett facit med jämna mellanrum. Men inte bara det, utan det var också de metoder som var bäst och det man rekommenderade till kunderna när de skulle köpa undersökningar. Tyvärr är det inte så längre. Nu är det mer av typen skådebröd, en speciallösning, som faktiskt inte går att använda till något annat än just väljarbarometern. En produkt som hos nästan alla andra nu saknar den absolut viktigaste ingrediensen i en pålitlig undersökning: felmarginalen

Tar man bort felmarginalen går man från en undersökning med en känd tillförlitlighet till helt okänd, gör man det på väljarbarometern gör man det på den absolut viktigaste profilprodukten som vår bransch har.

När man lämnat sannolikhetsurvalen och börjar blanda blir alternativet en svart låda som knådar till siffrorna och spottar ur sig ett resultat. Ingen utanför vet hur modellen fungerar.

Men ännu viktigare: Modellen är enbart designad att fungera för en typ av undersökningar. Det enda sättet att visa att modellen (lådan) fungerar är att den ger ett liknande resultat som för andra undersökningar vars syfte är att undersöka samma sak. Men det är också så att felen och skevheterna när man börjar knåda icke slumpmässiga urval är att det krävs specifik modellering för varje område, det är inte en alls bara fråga om att få en jämn demografisk uppdelning, däri ligger inte problemet när man lämnar de slumpmässiga urvalen.

Man kan få modellen att fungera inom ett område där man redan vet ett ”facit”. MEN det verkliga syftet med riktiga undersökningar är att ta fram resultat, kunskap, ett facit i frågor där man inte redan vet svaret.

Det är bara i ett fåtal frågor man gör en undersökning där man redan innan har många andra aktuella undersökningar kring samma ämne och det finns ett aktuellt ”facit”. Det är nästan uteslutande bara inom politiska ämnen och där media är kunden. Särskilt tydlig är väljarbarometern. Alla redaktioner med självaktning vill ha sin egen väljarbarometer. Men samhällsvinsten/affärsnyttan med ytterligare en väljarbarometer är ju i ärlighetens namn rätt begränsad utanför nyhetsredaktionerna. Väljarbarometern är skyltfönstret för alla undersökningsföretag som har en sådan i media. Det är väljarbarometern som definierar branschen, trots att den absolut inte på långa vägar är den viktigaste utifrån kunskapen som den levererar.

Har man då designat speciallösningar enbart för att få fram ett svar på ett frågeområde, t.ex. väljarbarometern. Där det krävs att man redan vet svaret för att kunna säkerställa att den egna svarta lådan fortfarande fungerar har man därför underminerat grunden undersökningsbranschen står på.

Det kan nästan liknas vid en tillverkare av rekvisita och fasader till en Hollywood produktion. Något som bara fungerar att titta på från rätt vinkel, som bara ser verkligt ut genom kameran. När man i alla andra fall säger sig tillverka fungerande möbler och hus. Saker som går att använda till något vettigt i verkliga världen och kundernas verksamhet. Saker man kan lita på, och som tål att användas.

Ett undersökningsföretag är ett kunskapsföretag som levererar förståelse och insikter till sina kunder. Att göra en undersökning är ett hantverk som kräver stor yrkeskunskap. Väljarbarometern är den mest publika produkten och måste vara den mest välgjorda. Det bästa exemplet på hur en bra undersökning kan genomföras. Den måste därför uppfylla de mest grundläggande kvalitetskraven man kan ställa på en bra undersökning: Att den innehåller felmarginaler.

Precis som med allt gediget hantverk och yrkeskunnande kommer den också bli en dyr produkt. Har inte kunden råd att betala för den, vilket är fallet med massmedia som kund, kan man inte leverera en billig produkt med sämre kvalitet. En produkt inte ens uppfyller det mest grundläggande man kan förvänt sig av en bra undersökning. Alltså felmarginaler. Utan dem kan man inte avgöra hur pass tillförlitlig undersökningen är. Antingen gör man den bra trots bristande ekonomisk ersättning, eller så gör man den inte alls.

Den utveckling vi sett i Sverige under denna mandatperioden från våra konkurrenter är därför extremt oroväckande. Metodförändringarna har inte ökat den yrkesmässiga tillförlitligheten, tvärtom. Väljarbarometrarna är inte längre det bästa våra konkurrenter kan producera, utan en speciallösning för just väljarbarometern.
Graden av avvikelse skiljer sig åt. Men tyvärr är det idag bara två, Novus och ett undersökningsföretag till, som kan presentera signifikanta förändringar och felmarginaler för sin väljarbarometer. Det är tyvärr bara Novus som idag uppfyller medias tuffaste krav (de som Ekot/Sveriges Radio och SVT har) på en trovärdig undersökning, kortfattat:

• att man har ett slumpmässigt urval
• att man kan ange felmarginaler
• att man presenterar bortfallet

Jag är extremt besviken över det faktum att det bara är vi som idag uppfyller detta. För kraven är inte högt ställda. Det är de lägsta krav man kan förvänta sig av en undersökning där facit saknas, alltså alla undersökningar som våra kunder utanför massmedia köper. Bortfallet är egentligen en liten specialare, det är något som vi skall bevaka och inte släppa en undersökning till en kund om bortfallet ser ut att vara problematiskt, det kan nämligen inte kunden avgöra, det finns ingen specifik siffra/nivå som avger när det är ett problem och när det inte är det.

Att vi har denna situation med väljarbarometern betyder antingen bland annat:

• Att det bara är vi som har råd att satsa på väljarbarometern.
• Och eller att det bara är vi som förstår hur viktigt det är att väljarbarometern är det bästa vi kan göra. Eller att det är bara vi som faktiskt har en sådan kompetens att vi kan genomföra bra undersökningar inom alla områden.
• Och eller att det bara är vi som förstår hur marknader fungerar.
• Och eller att låg betalningsvilja inte bara betyder att kunden inte har råd
• Och eller att värdet av trovärdighet i en kunskapsbransch är helt centralt

Allt ovan blir obegripligt, undersökningsföretagens roll är att ge sina kunder förståelse i hur marknader och människor fungerar. Det finns ett talesätt om skomakarens barn, men jag funderar mer på en skomakare med trasiga skor.

Släpper man de grundläggande kraven för sin premiumprodukt, den vars alla ögon är riktade mot. Hur kan man då med stolthet och självförtroende säga att de undersökningar kunderna köper och betalar dyra pengar för är bättre än den där det kommer ett facit?

Nej det krävs en rejäl skärpning, förtroendet för branschen är helt beroende av det. Väljarbarometern kan inte vara en speciallösning som helt avviker från det mest grundläggande krav man skall ställa på en bra undersökning.

Man får inte släppa kravet på tillförlitlighet och mått på osäkerhet.

Man får absolut inte skapa en bild av att det inte finns etablerade metoder med stöd i den forskning som finns och som faktiskt fungerar otroligt bra. Sverige är ett jättebra undersökningsland, men det är inte bara i Sverige det fungerar att göra riktiga undersökningar. Däremot har inte kostnaden skenat här på samma sätt som det gjort i USA. Det är mycket lättare att göra mycket bra undersökningar här än i t.ex. USA.

Man får inte heller slarva eller hitta på nya mått på säkerhet och osäkerhet. Statistiska undersökningar är baserade på George Gallups metodik från 1930 talet, med slumpmässiga urval. En snart 100-årig sanning. Det finns idag ingen ny alternativ-kunskap eller -forskning att luta sig mot som faktiskt fungerar på alla områden. Det finns inga belägg för alternativa metoder som fungerar inom områden där man inte redan vet vad svaret skall bli. Och där det finns ett facit så fungerar riktiga metoder fortfarande precis så bra som man kan förvänta sig utifrån den noggrannhet och säkerhet som metoden har.

Seriösa undersökningsföretag måste försvara och använda de metoder vi vet fungerar. Hur kan man annars med gott samvete leverera undersökningar och ta betalt för att leverera kunskap. Om man inte kan lita på att det är just kunskap man har producerat? Utan vetenskapliga metoder och känd tillförlitlighet i underlaget för kunskapen är det inte längre kunskap man levererar till sina kunder. Då är det bara gissningar och i värsta fall bara kvantifierat skvaller. Det är absolut inget som hör hemma i den förtroendebransch som undersökningsbranschen är.

Torbjörn Sjöström

VD

Novus