Varför finns undersökningsföretag? Om säkerhet och osäkerhet
En undersökning är en metod eller en process för att få kunskap. Något som behöver påminnas om varje dag.
För att få kunskap så behöver man fakta. Men målet är inte fakta, målet är att med hjälp av relevant fakta kunna bygga kunskap i frågan. Som undersökningsföretag arbetar vi varje dag med att leverera kunskap till våra kunder. För att få denna kunskap tar vi fram relevant fakta.
- Vi tar fram fakta som inte redan finns
- Vi använder fakta till att ge våra kunder kunskap
- Vi tar fram fakta i frågor där det inte finns facit
Det är i princip bara i demokratiska val vi får ett facit på vår fakta. Detta facit gäller endast den senaste undersökningen precis innan valet (och inte ens då försöker vi förutsäga vad som händer i framtiden, utan vad som skulle hända om det var val idag, inte i övermorgon), detta facit gäller inte de väljarbarometrar som sker varje månad. Det gäller absolut inte SCB:s PSU som publicerades häromdagen. Att ens andas idén om att den skulle säga något om framtiden, mer än hur läget ser ut idag, innebär att man tror på ödet. Att partiernas valrörelser inte spelar någon roll, att vi inte ens har den fria viljan att påverka vår egen framtid.
Väljarbarometern är förövrigt en så liten ekonomisk affär att den knappt syns i vår resultaträkning. Det är däremot extremt viktig för vårt varumärke. Det enda facit som finns i de flesta frågor är undersökningar, 99% av alla undersökningar vi gör är baserad på fakta vi själva samlar in genom statistiska urval som grund för vår kunskap.
Det låter ganska absurt, men det är faktiskt så.
Vad har vi till vår hjälp för att ta fram dessa facit? Jo forskning och beprövad erfarenhet. De publika valen hjälper oss att kontrollera våra metoder. Det finns idag inget som tyder på att dessa metoder inte fungerar, inte ens i USA är de särskilt trasiga, men de är absolut inte gratis.
Man kan göra statistiska undersökningar och faktiskt kunna få fram facit i en fråga. MEN man skall inte övertolka det heller. Man måste veta vilken osäkerhet metoderna medför. Det är här felmarginalen kommer in. Den har inget självändamål, utan det är ett hjälpmedel för att tolka osäkerheten/säkerheten i undersökningen. Hur pass mycket kan vi lita på den statistik vi tar fram som underlag för den kunskap vi levererar. Läs mer om nivåerna på felmarginalen här
Det är därför obegripligt för mig att vi har många konkurrenter, nästan alla, som tar så lätt på metodförändringar att man inte ens med god vilja kan räkna på felmarginalen, i vilken omfattning man kan lita på undersökningen. Vi ser nu flera etablerade undersökningsföretag som efter sin metodförändring inte kan redovisa felmarginalen, alla förändringar blir då inom felmarginalen, inget har då egentligen hänt. Med andra ord det går inte att avgöra hur pass pålitliga resultaten är. Det kan faktiskt vara helt fel.
Det finns de som hävdar att det inte går att genomföra statistiska undersökningar längre. Något som är en direkt lögn, eller om man vill vara snäll, baserat på total okunskap. Men är det inte intressant att de som är de mest högljudda förespråkarna för undersökningsbranschens alternativa metoder (alltså metoder utan någon känd osäkerhet) är aktörer som säger att de kommit på något billigare men ”minst lika bra”. För om det vore så att det dom ersätter inte fungerar, varför använder man då de beprövade metoderna som måttstock? De som säger att det inte går att göra pålitliga undersökningar verkar samtidigt försöka tjäna pengar på opålitliga undersökningar (man har ingen felmarginal, man har ingen aning om osäkerheten), men försvarar ofta sin existens genom att säga att resultatet är detsamma som undersökningar baserad på korrekt metodik. Logiken haltar inte bara lite här…
Många blandar också ihop forskningsprojekt och kommersiella produkter. Att forska på metodutveckling kan ske på företagen och det kan ske på universiteten. Det är en parallell process som sker bredvid den kommersiella verksamheten. Det är en framtidssäkring och det är en modernisering som man sedan kan lyfta in som en bättre modell. Men nu ser det mer ut som fungerande metoder ersätts av prototyper som utvecklas mer eller mindre live i kommersiell driftmiljö. Prototyper som saknar ens indikationer på osäkerheten. Prototyper som saknar felmarginaler, när kärnverksamheten i det vi gör är just graden av säkerhet/osäkerhet i den fakta vi använder som grund för den kunskap vi förmedlar.
Prototyper som då ser ut som en panikåtgärd för att lappa ihop något som helt plötsligt gått sönder. När inget har gått sönder (förutom kanske mediehusens betalningsförmåga…), varför försöker man laga något som inte ens var trasigt? Pengar är tyvärr förklaringen, man anser att det var för dyrt att bjuda på en bra dyr produkt när kundens betalningsvilja var så låg.
Men det man gör genom att byta ut ett fungerande flaggskepp mot en prototyp i direktsändning är att man riskerar att se skeppet sjunka framför ögonen på oss. Man ignorerade ingenjörernas varningar, för det måste ju se fint ut, det måste vara stort och det får inte vara för dyrt…
Nej man måste hålla isär forskning och kommersiella produkter. Skeppen kan sjunka under kontrollerade test, inte under pompa och ståt i direktsändning.
Glöm aldrig att en undersökning är en metod för att få kunskap. Kunskap fungerar aldrig utan pålitlig fakta, pålitlig fakta kan inte existera om man inte kan värdera säkerheten i faktan.
- Därför är felmarginalerna viktiga.
- Därför är vetenskap och beprövad erfarenhet avgörande.
För utan det ovannämnda har inte undersökningsföretagen något existensberättigande.
Kan vi inte leverera tillförlitlig kunskap kan vi lika gärna strunta i att försöka, då lurar vi bara kunderna på pengar. Något som jag är säker på att ingen egentligen vill.
Det finns ingen anledning att säga att det inte går att göra pålitliga undersökningar i Sverige. Men det är inte gratis. Det val man ställs inför som en seriös aktör om kunden inte kan betala vad det kostar, är att antingen inte leverera, eller leverera med förlust. Att bygga något som är medvetet sämre med enbart ursäkt att kunden inte ville betala mer är förödande för det egna varumärket. När skeppet sjunker kommer man minnas båtbyggaren och aldrig anlita den igen.
Novus undersökningar kan man lita på, vi vet graden av osäkerhet, det är inte en dålig sak utan en grundförutsättning för att kunna värdera fakta som ligger till grund för kunskapen. Vi försöker inte leverera något som är dåligt på grund av kunden inte kan betala för något som uppfyller de krav vi ställer för att sätta vårt namn på det. I regel föreslår vi då en effektivare lösning som passa kundens plånbok men kanske inte ger alla svaren. Ibland säger vi åt kunden att inte genomföra undersökningen alls.
Har man yrkeskunskapen och yrkesstoltheten kan man också komma med alternativa lösningar som i regel passar kundens plånbok utan att för den delen vara dålig. Dålig kvalitet i undersökningsbranschen innebär nämligen inte ganska rätt, utan sannolikt oftare helt fel. Då är det bättre att spara pengarna, eller köpa något mindre men pålitligt som man har råd med. En bra undersökning har ett operativt värde, och det finns det egentligen alltid pengar för. En dålig undersökning är slöseri med pengar.
Om vi inte har stöd för vår kunskap och om vi inte kan värdera den fakta som ligger till grund för kunskapen så levererar vi bara dyra gissningar. Därför är felmarginalen helt avgörande för undersökningsföretagets anseende.
Torbjörn Sjöström
VD
Novus