Arkiv 2017

ESOMAR 70 år, reflektioner

14 september, 2017

ESOMAR firade i början på veckan sitt 70-årsjubileum i Amsterdam. Jag missade förra årets konferens, men var med året innan när ESOMAR var 68 år gamla.

Det är en enorm tillställning. För två år sedan var 1000 undersökare från hela världen samlade, i år var det 1300 deltagare. Den kunskap som finns samlad är fantastisk! Alla är undersökare, vilket  betyder varumärkesspecialister, affärsutvecklare, beteendevetare, analytiker, data scientists osv.

Den genomgående känslan för två år sedan var oro. Det saknades självförtroende och det låg som ett lock av vanmakt över hela tillställningen, kände jag. ESOMARs styrelse bestämde sig det året för att vi skulle bli ”thought leaders” och skulle jobba med det framöver. Samtidigt var det flera föreläsningar som visade på reell affärsnytta, kunder som ökade sin försäljning direkt tack vare bra undersökningar. Lokalen fungerade jättebra och det pågick tre parallella seminarier under tre dagar, och det föddes lite nya idéer hos mig. Men det jag främst tog med mig därifrån var just den här känslan av kollektiv oro. Här satt en hel bransch vars jobb var att tala om för kunderna hur man förbättrade sin affär, hur man nådde ut med sitt budskap, vad som funkar, vad som inte funkar och varför det är så. Samtidigt som man inte alls verkade ha förmåga att applicera detta på sin egen bransch. Man såg sig som offer för en negativ utveckling, till synes oförstående till varför kunderna inte ville betala mer än det gjorde. De verkade missa helt att kunderna inte längre begrep vad vi egentligen levererar och att vi faktisk skapade ett mervärde med bra undersökningar.

Nu två år senare är temat framtiden och man går hårt ut direkt. Den officiella oro jag kände för två år sedan är borta, istället agerar man som att allt är löst. ESOMAR har nu funnits i 70 år och vi skall glädjas över det och blicka 70 år framåt i tiden. Precis som för två år sedan var det tre parallella seminarier.  Tyvärr hölls två av dessa i mässhallar, vilket innebar att om man inte fick plats längst fram så hörde man knappt vad som sades eftersom bruset från mässan överröstade. Rent generellt var det i år ett större fokus på utställarna. Jag antar att de som finansierade en stor del av detta seminarium ville ha mer utrymme och närvaro, men detta leder till att seminarierna som man faktiskt kommer för hamnar i skymundan och att de som föreläser får en mycket mindre publik.

Vad hände då med ”thought leadershipet”? Jag vet inte. Kanske ansåg man det som löst det året jag missade, men jag tror inte det. Åtminstone har inte jag märkt något av det som medlem i ESOMAR.

Jag får känslan nu efter årets ESOMAR att man egentligen inte har löst något men man skall minsann fira och om man fokuserar på en stark historia och siktar på framtiden så är nutiden löst. Det finns nästan inte ett spår av det som är det absolut mest tongivande för branschens anseende i det officiella rummet, nämligen valen som gick fel; USA, UK och Brexit. Det fanns ett seminarium som lite löst verkade referera till detta, men tyvärr missade jag det, däremot är jag efter AAPOR i USA innan sommaren, extremt insatt i det tekniska, och att bra undersökningar faktiskt var träffsäkra i USA, det blir tom bättre och bättre. Det man däremot behöver adressera i ESOMAR är effekterna av bilden av undersökningarna, inte bara de brister i teknik som fanns på flera håll.

Ett av mina mantran är ju som en del av er vet: Vet man inte var man är idag spelar det ingen roll om man vet vart man skall.

Vi lanserade kartan och kompassen på vårt 10 årsjubileum som en symbol för detta. Novus ritar kartan, visar var man är och hjälper kunderna att ta ut kompassriktningen så man kan följa sin strategi baserad på en korrekt bild av nuläget.

Vi jobbar inte med framtidsspaningar, vi levererar nutidsinsikter.

Min känsla av ESOMAR 70 år är att man tyvärr missar detta.

Ett undantag var ett intressant seminarium med Philips som lyfte upp delar av problemet. I seminariet beskrevs det som parallella världar, där det på marknadsavdelningar dyker upp nya människor som glatt inser att man skall prata med konsumenter och jobba med data. Människor som använder en del av verktygen vi använder, men som inte ens begriper att det är delar av marknadsundersökningar man arbetar med. ”Marknadsundersökningar är ju mossigt! Nej, vi jobbar med konsumentdialog!”. Eller vad man nu väljer att kalla det. All den samlade kunskap som finns inom branschen går förlorad. Man kan göra ett bra jobb, men precis som med allt annat gör man alla nybörjarmisstag och missar kanske det centrala.

Man kryper sakta fram när det finns en hel profession och bransch som susar runt i helikoptrar i samma landskap. Istället för att åka med är man så fast i sina små steg framåt att man inte ens ser helikoptrarna. Vi som åker i våra helikoptrar verkar inte ens begripa att de som kryper där nere kanske vill åka med. Vi tror i vår enfald att bara för att de inte viftar och vill åka med att de faktiskt inte skulle bli tacksamma för att få reda på att de faktiskt kan få köpa en resa. Vi tror att de inte har råd, när de i själva verket inte ens förstår vad det är vi erbjuder.

Här går ESOMAR vilse, och det här skaver fortfarande. Jag var så glad när konferensen började för att man inte satt fast i oron, men jag undrar nu om man inte snarare råkar gå över i förnekelse när man fokuserar på historien och framtiden, istället för nutiden.

En del av dem jag pratade med håller med – man känner oron, man känner frustrationen och man saknar att frågorna inte diskuteras. Även om vi är konkurrenter så har vi en gemensam nämnare vi alla måste adressera, nämligen hur vi uppfattas. Vi dras ofta ned till att bli dataleverantörer och vi lider av dåliga publika undersökningar som får enorm medial uppmärksamhet. Vi vet hur man gör egentligen och vi är ovärderliga rådgivare till de mest framgångsrika företagen i världen. Men vi lyckas inte applicera kunskapen på vår egen bransch. Vi fastnar i det inifrånperspektiv vi vet att våra kunder så lätt fastnar i. Vi kryper på marken, sakta framåt, samtidigt som våra helikoptrar står redo på plattan.

Där borde ESOMAR vara. Man borde fokusera på nutiden. Man borde samla hjärnorna till att utveckla den egna branschen. Man borde dra nytta av helikoptrarna och alla de kartor vi har för att utveckla vår egen bransch.

Jag har gjort det i Sverige sedan jag tillträdde som VD för 6 år sedan men tänker inte tråka ut er återigen med det, vet att jag kan bli tjatig.

Hur man totalt missar detta när den samlade branschen ses på ESOMAR är så tråkigt och konstigt. Enorma påkostade tillställningar, fantastiska filmer, man känner sig stolt när man är med i sammanhanget, men det är något som skaver efteråt. Vardagen är densamma, man kommer inte därifrån med några nya verktyg och insikter om sin egen bransch. Man kommer inte ens därifrån med ett ens ett embryo till samförstånd om nuläget eller gemensam riktning hur man skapar en bättre framtid för branschen tillsammans. De frågorna diskuterades inte ens.

Varför inte passa på att samla folk till workshops när man ändå ses? Varför inte ha en öppen inställning till utmaningarna och använda hela vår maskinpark och kunskap till att lösa våra egna problem? Fokusera på branschens nutid och tillsammans skapa en bra framtid.

Istället hade vi nu individer som spekulerade kring framtiden som om den skapas utan oss. Det enda jag vet och jag själv tycker mig kunnat bevisa i Sverige är att vi kan skapa vår egen framtid. Novus har en enormt positiv utveckling i Sverige. Enbart för att vi själva har arbetat mot den år efter år. Det hade kunnat gå ännu bättre om branschorganisationen förstod och det hade varit fantastiskt om vi hade kunnat hjälpas åt globalt, men vi på Novus sitter inte och väntar på det. Jag har dock inte gett upp hoppet om att få sällskap av andra globalt. För den kunskap som finns är otrolig. Tänk om den kunde kanaliseras till att faktiskt skapa en bättre framtid för vår egen bransch. Det hade inte bara blivit roligare och bättre. Det häftigaste med det är att biprodukten av ett sånt arbete skulle vara att kunderna faktiskt skulle göra ännu fler affärer och de skulle börja efterfråga kompetensen – inte själva köpa verktygen och bli hobbyundersökare. Den positiva spiral vi ser för Novus skulle kunna breddas och bli en global händelse istället för den negativa spiral som verkar vara rådande globalt.

Torbjörn Sjöström

VD

Novus

Varför är jag så jobbig?

8 september, 2017

Jag vet att många tycker jag är rätt jobbig, särskilt konkurrenter tror jag, får höra det lite då och då direkt eller indirekt.

Tänkte på detta under sommaren att jag borde skriva en text om varför jag är så jobbig, och nu gör jag slag i saken.

Jag har varit i undersökningsbranschen på ett eller annat sätt i nästan hela mitt liv. När man har en pappa som min så blir det kanske inte så konstigt. Mitt första sommarjobb var där, jag finansierade sedan mina högskolestudier med telefonintervjuer på kvällarna. Jag hade inte tänkt att bli undersökare, utan jag tog en master i programvaruutveckling började som utvecklare och projektledare på Ericsson, sedan Symbian tröttnade på storföretagen och startade mitt första företag inom IT branschen. Jag har suttit i styrelsen sedan Novus startade. När min pappa som grundade Novus hastigt dog lämnade jag företaget jag startat 10 år tidigare och gick in som operativ VD för Novus, jag bestämde mig vid pappas dödsbädd på söndagen, och kom till kontoret på måndagen med att ge det hemska beskedet om pappa och att jag går in som VD till personalen, marknaden och en journalist som ringde runt på kontoret för att få något saftigt kring det. Detta var drygt 6 år sedan.

Som egenföretagare måste man vara stenhård, är man inte det blir man tyvärr det. Man måste tro på sin produkt och man måste se till att man kan hålla vad man lovar. Det är en stor del av ens person som läggs in i företaget. Nu är jag inte formellt egenföretagare längre, utan anställd VD och styrelseordförande i huvudägaren, men det engagemang jag har för Novus kunde inte bli högre om jag formellt ägde det. Det är verkligen inte bara ett jobb för mig, det personliga åtagandet är enormt. Man vill göra något bättre. En stor del av din själ går in i det man levererar.

När jag då gick in som VD i undersökningsbranschen blev jag påmind om att det är en bransch som på många håll saknade självinsikt med svagt självförtroende. Man ville leverera insikter, men konkurrerade mer med lägsta pris och datainsamling.

Delvis beror det på att statistik fokuserar på osäkerheter, man är aldrig 100% säker på något. Man fokuserar mer på felen. Det är faktiskt något av det första man lär sig inom statistik, de fem fel som kan uppstå, urvalsfel, bortfallsfel, mätfel, slumpmässiga fel och systematiska fel.

Självklart måste man förstå felkällorna för att undvika dom. Men det är lätt att fokusera mer på ”felen än på rätten”. Även om vi skulle vara 95% säkra på resultatet så är man ofta upplärd att fokusera på de 5% som kan vara fel.

När datainsamlingen var dyrare var det enklare att ta lite mer betalt för datainsamlingen, än att ta betalt separat för analysen. Trots att analysen egentligen är det som genererar mervärdet för kunden och faktiskt är helt avgörande för en bra undersökning. Tex datainsamlingen kan konstatera att temperaturen förändras, analysen talar om varför. Baserat på undersökningen kan man konstatera att temperaturen förändras och ge svar på varför det sker, och hjälpa kunden med en förståelse hur det kan användas i verksamheten. Men det är svårt att konkurrera med något så abstrakt som ”analys”, när datainsamlingen är konkret och kostnadsdrivande. Det fanns ju också den där osäkerheten kring de där 5 procenten. Det är ju trots allt 5 % sannolikhet att datainsamlingen är fel… Istället för att fokusera på att det är 95 % sannolikhet att den är rätt.

Men undersökarna/analytikerna har stor yrkesheder, de konkurrerade ofta med bästa analyserna Men man bjöd ofta på en stor del av den för att efteråt kunna visa att man var lite bättre än konkurrenterna, och levererade ett bra mervärde. För det var svårt att ta betalt för den abstrakta ”analysen”.

Däremot, något man inte tar betalt för värderas inte. När datainsamlingen blev extremt mycket billigare pga. internet/digitaliseringen försvann också mycket av den ”finansierade extratid” man kunde lägga på analysen. Med det försvann också en del av kärnan i en bra undersökning.

Skillnaden mellan datainsamlingsbolag och undersökningsföretag suddades ut mer. Där de förstnämnda ju blev billigare, men egentligen bara levererade datainsamling, och de sistnämnda levererade datainsamling och analys, vilket är en riktig undersökning. Men denna definitionsförvirring missufattades lätt för en minskad betalningsvilja hos kunden. Kunden såg två olika undersökningar där den ena var markant billigare. Branschen svarade med skära i analysdelen, den tog man ändå knappt betalt för, och kunden verkade inte bry sig. Det man då riskerade att göra var att ta bort ett ben i en undersökning. En undersökning vilar nämligen på två ben. Datainsamling och Analys. En undersökning kan inte existera utan båda delar.

Det är också så att kunderna faktiskt bryr sig, det händer ofta om vi förlorar en affär där kunden sedan köper billigare datainsamling istället för en lite dyrare undersökning från oss, så kommer kunden tillbaka längre fram. För det var ju faktiskt en undersökning de hade förväntat sig. Kunderna betalar för kunskap och ökad förståelse. Inte för att få ”en siffra”. Men det är ju helt naturligt om vi som bransch är otydliga med detta och andra säger sig kunna leverera motsvarande produkt så väljare man så klart den billigaste. Det är bara det att produkterna egentligen inte är jämförbara, det är bara vår bransch som varit otydliga.

Bilden av branschen hade man i stort sett överlåtit helt till media att styra. Man gav gladeligen bort nya ”siffror” till media för att synas där. Man hade generellt abdikerat från att stå för analysen, utan det var helt upp till andra, oftast journalister att dra sina egna slutsatser. Genom detta cementerade man ännu mer sin roll som datainsamlare. Det är extremt påtagligt i USA, men gå tillbaka 5-6 år i Sverige och det var så det fungerade här också i princip helt utan undantag.

Vi hade också en outsourcing trend, datainsamlingen lades ut på underleverantörer som gjorde en stor del av jobbet, sedan lades på ett premium för varumärket ”undersökningsföretaget”. Men generellt lyckades man inte ta det betalt man behövde för att göra de analyser som faktiskt behövdes. Pga det jag beskrev tidigare i texten.

Undersökningar är som sagt inte bara datainsamling. En undersökning är en metod eller en process för att få kunskap. Det kräver kvalificerad yrkes och branschkunskap för att framställa relevanta undersökningar, det är så mycket mer än att samla in kvalitativa data. En undersökning består som sagt av datainsamling och analys.

Men det måste synas. Som nytillträdd VD för Novus så såg jag en bransch som inte hade självförtroende att ens tala om att man behövdes. Men sprang allt fortare för att kapa priser för man sa att kunden inte hade råd med mer. Självklart har inte kunden råd om man inte talar om att det finns ett värde.

Däremot är kunskap ovärderligt för kunderna. Men om undersökningsbranschen som helhet, särskilt internationellt, men också nationellt inte vågar stå för den kunskap man tar fram ja då är det kört.

Novus position var unik när jag kom in, vi hade (och har antagligen fortfarande) många av Sveriges mest erfarna konsulter. Ett par konkurrenter konsoliderades när Novus startade och det blev mer fokus på internpolitik och internationella ägardirektiv än att göra bra undersökningar. De som sökte sig till Novus ville göra bra undersökningar, inte syssla med internpolitik. När jag kom in så hade jag enormt erfarna kollegor med en jättestor yrkesheder som lätt drogs med i den generella prispress som skedde med fokus på billig datainsamling och där kunskap inte värderades.

Det viktigaste var att styra upp bilden av undersökningsbranschen. Det som var så fantastiskt var att målet var att skapa en mer rättvisande bild, branschen förminskade sig själv. Mitt fokus var inte att försköna utan ge en mer rättvisande bild. Kompetensen fanns, produkten fanns, men efterfrågan tröt pga en felaktig bild av produkten, inte produkten som sådan. Framtiden för det vi gjorde om vi bara kunde få alla att förstå vad vi gjorde såg otroligt ljus ut.

Vi måste stå för det vi gör. Vi måste ta ansvar och visa självförtroende. Säg någon annan bransch där man kan säga att man är drygt 90% säker på det man baserar sina analyser på. Alternativet till bra undersökningar är gissningar. Vi har inget alls att skämmas för, tvärtom!

Alla branscher definieras av massmedias beskrivning, och tror journalister att vi är datainsamlare så blir vi det i kunders och allmänhetens ögon.

Så jag började åka runt till redaktionerna och utbilda vad vi gör. Att det finns bra och dåliga undersökningar inte mina åsikter, utan ur ett forskningsperspektiv, vi hittar inte på utan det är beprövade metoder som används och fungerar. Att dåliga undersökningar inte säger något alls om gruppen som skall undersökas. Det är rätt enkelt, har man ingen felmarginal så har man ingen aning om vilket säkerhet man har i resultatet man baserar sin analys på, undersökningen kan vara 100% fel. Mao självrekryterade undersökningar kan ha en felmarginal på upp till 100%, ingen vet, det finns inga sätt att räkna ut det, och sannolikt kommer det aldrig komma någon metod heller, de grundläggande problemen med självrekryterade paneler är så fundamentala att de inte går att kompensera för okända åsiktsskevheter. Är det något man kan basera en nyhet på? Det är i regel sämre än kvalificerade gissningar att lita på en dålig undersökning.

Det gällde också att beskriva vad vi gör, att visa att vi kan analysera undersökningarna, därför skrev jag nästan en debattartikel i månaden, jag har legat av mig nu på slutet, men i början var det livsviktigt, under de första drygt två åren har jag ca 30 publicerade debattartiklar som fokuserar på politik.

Politik är inte bara det vi gör, men det är det vi har enklast att prata om. Undersökningar som inte görs tillsammans med massmedia äger våra kunder och vi har total sekretess. Men kring politik undersöker vi regelbundet tillsammans med massmedia, vi kan där också enklare visa analysdimensionen. Det gick i början inte alls i nyhetsinslagen, då fick jag komplettera med debattartiklar. Minns när SD gick upp efter järnrörsskandalen. Insåg att ingen i Sverige skulle förstå, så jag fick skynda mig att få in en debattartikel i DN samma dag som väljarbarometern publicerades, annars skulle rapporteringen enbart baseras på gissningar från personer som inte hade den inblick i samspelet politik och väljare som vi hade. Gör man som vi ca 100 politiska undersökningar om året, så får man fort en förståelse och kunskap kring väljarbeteende som är helt unik.

Mitt missionerande för bra undersökningar har faktiskt varit en stor bidragande orsak till att checklistorna hos svenska redaktioner nu är baserade på den vetenskap och beprövad erfarenhet som finns kring hur man gör pålitliga undersökningar. Och när massmedia ställer rimliga krav kommer kunderna göra detsamma. Vi har nu en positiv spiral i Sverige som jag tror är ganska unik. Sverige är tekniskt ett av världens bästa undersökningsland. Vi kan ta fram ovärderlig kunskap åt våra kunder. Det skall man inte kasta bort för att man som bransch saknar självförtroende och inte ser till att ha en rättvisande bild i det offentliga kring vad vi gör, eller för att man låter andra länders problem sänka det vi kan göra i Sverige.

Undersökningsbranschen är lite speciell, tex i lågkonjunktur ökar kundernas betalningsvilja, man har inte råd att göra fel. Men i högkonjunktur så sjunker det för då har man råd att göra fel.

Vi måste våga säga vad som är rätt eller fel. Vi måste vara oberoende. Vi måste ha integritet. Våra kunder är ofta mer betjänta av obekväma sanningar. Undersökningar som bara visar att allt går bra och allt är rätt är rätt meningslösa om syftet bara är att bekräfta att man gör rätt, inte undersöka hur det kan bli bättre. Undersökningar som visar var man kan förbättra sin affär eller få reda på var man gör fel är värt enorma summor.

Undersökningsbranschen är värd att försvara, utan den går man tillbaka till att gissa. Det vore förödande. Vi som är representanter måste ta ansvar för vårt hantverk. Om inte vi gör det bästa vi kan och värderar den kunskap vi sitter på vem skall då göra det?

Därför är jag så jobbig, för många kollegor i branschen verkar inte se vilket ansvar vi har. Vilket värde vår bransch faktiskt genererar. Att vi inte är datainsamlare utan undersökare som levererar kunskap och förståelse.

Man kan inte slarva i det publika, man kan t.ex. inte försöka förstora upp, man kan inte skippa felmarginaler för att spara pengar.

Då får man inte bara en jobbig Torbjörn på sig utan framförallt så underminerar man hela branschens värde, och bidrar aktivt med sitt beteende att felaktigt förminska den ännu mer. Tyvärr är det bara jag som är jobbig just nu, det borde vara fler som faktiskt kämpade för att man kan lita på bra undersökningar. Både bland konkurrenter och inom forskarvärlden. Forskarna ligger faktiskt också risigt till, enormt mycket forskning är baserad på undersökningar och om allmänna bilden är att undersökningar inte fungerar, hur skall man då få anslag till sin forskning.

Torbjörn Sjöström

VD

Novus

Årets Novus keps gjorde succé i Almedalen i år, och kartan och kompassen var vårt försök att översätta vårt arbete till något som var lättare att relatera till

Lite om valfrihet, vinst i välfärden, konkurrens och vinst på skattemedel

6 september, 2017

I slutet på juni gjorde Novus en undersökning åt SVT kring vinst i välfärden och synen på valfrihet. Vi valde också att komplettera denna undersökning när den ändå gjordes med några ytterligare frågor för att lite bättre kunna rama in frågan.

Sammanfattning

Frågan kring konkurrens, valfrihet och vinst med skattemedel kan delas upp mellan hur alliansen och rödgrönas sympatisörer tycker i frågan, inte helt oväntat så klart. Rödgröna är i lägre grad för valfrihet, högre grad för vinstbegränsning då man är mer positiv till verksamhet i offentlig regi. Alliansen mer för valfrihet, konkurrens förbättrar kvaliteten och att privata aktörer kan leverera till det offentliga i större omfattning. SD:s sympatisörer mitt emellan rödgröna och alliansen men om något lite närmare alliansens åsikter än de rödgrönas.

Det som är mest uppseendeväckande i undersökningen är att det finns indikationer som tyder på en stark opinion mot vinst på skattemedel generellt som lätt kan förstärkas inom andra branscher. Skolan och sjukvården är lite mer speciell än så länge, där finns det starkaste motståndet kring vinst, men andra branscher kan snabbt komma i fokus och det finns en bred grundläggande misstro mot vinst baserat på skattemedel inom alla offentliga områden bland alla väljargrupper. T.ex. efter transportstyrelsen kan IT outsourcing bli sådan bransch där opinionen kan växa fort för ett generellt förbud kring privata aktörer, förbud mot vinster etc.

En sak som har varit tydlig utifrån den enormt långdragna debatten kring vinst i välfärden är hur den slår an känslomässigt, det är inget nytt och jag har refererat till tidigare, det har heller inte blivit bättre av en långraden polariserad, förenklad och primärt ideologiskt styrd debatt från i princip alla inblandade parter. Skolan och sjukvården är lite speciell nu, men det kan ändras fort. Väljarnas åsikt är i grunden okomplicerad: Skattemedel skall användas effektivt, ingen vill bli lurad.

Valfriheten i grundskolan

Först lite kort om valfriheten, där vi frågat om skolan. Den tas i stort sätt för givet av de flesta, tex här ser vi att det bara är 3% som anser att det är mycket oviktigt och 12 % som anser att det är mycket oviktigt att själv kunna välja grundskola. Det är nog många som glömt bort att detta inte alls var en självklarhet tidigare. Utan man gick i den grundskola man bodde närmast.

Denna fråga om vinst har ställts några gånger tidigare men här uppdaterad för att bli lite mer aktuell. Stödet för någon form av vinstbegränsning, kontroll av företag inom vård/skola/omsorg är mycket starkt. Vilket på ett sätt är helt naturligt så klart, att pengar går till finansiering av offentlig verksamhet utom någon som helst kontroll hade ju varit absurt. Lägg då till inramningen om skatteparadis, rapportering av oseriösa aktörer. Som jag sagt tidigare, man vill så klart inte bli lurad, frågan har ramats in i den kontexten. Är det så illa som det låter så skall så klart inte skattemedel betalas ut till oseriösa aktörer som inte levererar en bra produkt. Det som förvånar mig mest här är kanske hur en hel bransch misslyckats med att styra upp den här frågan, att de som är seriösa faktiskt inte jobbat stenhårt med att distansera sig från de oseriösa händelser som blivit inramningen i medierapporteringen. Nu dras hela branscher med i samma svepande beskrivning. Att en hel bransch skulle vara genomgående oseriös, enbart vinstmaximera och undvika skatt verkar det inte vara när man tittar på frågan lite närmare. För den delen om det skulle vara så att alla privata aktörer inom vårt skola omsorg skulle vara oseriösa då har vi ett enormt större problem än vinstbegränsning.

Hur är det med konkurrens? Tror man  den förbättrar eller försämrar kvaliteten? Är det skillnad på olika branscher?

En sak är jättetydlig, inom blindustrin förbättrar konkurrensen kvaliteten oavsett politiska sympatier.

Sen börjar det bli lite annorlunda. Väljare som sympatiserar med Alliansen anser i högre grad att konkurrens är bra i alla branscher, rödgröna sympatisörer att det är skillnad på vård och skola, bland dom anser man att konkurrens är dåligt för kvaliteten inom vård och skola. Vägbyggen är det ungefär lika många som anser att det förbättrar som försämrar, men bostadsbyggen och städning är konkurrens övervägande bra. SD:s sympatisörer är någonstans mittemellan. En övervikt för att konkurrensen förbättrar kvaliteten inom alla områden vi frågade, men också markant fler som tror att det är dåligt jämfört med alliansens sympatisörer.

Hur är det med synen på branscher? Är skolan och sjukvården speciell? Är det värre att tjäna pengar där än på andra ställen?

Vi testar här ett påstående som respondenten får instämma med. Inom skola och sjukvård är motståndet lite större kring att får tjäna pengar på skattemedel. Framförallt bland rödgröna där det är en tydlig skillnad. Bland rödgröna sympatisörer är det oavsett område ett större motstånd att företag går med vinst på skattemedel. Bland alliansens sympatisörer är man konsekvent med tidigare frågor och ser inte så stor skillnad på områden, men det är heller inte självklart att tjäna pengar på skattemedel. SD:s sympatisörer är lite mitt emellan Alliansens och rödgrönas sympatisörer i frågan.

Man ser här också att det är frågan om vinst på skattemedel som är en känslig fråga. Kvalitetskrav måste uppfyllas och man skall få valuta för pengarna. Skattemedel skall inte slösas utan kontroll.

Undersökningen som refereras till här är delvis publicerad i SVT under Almedalsveckan 2017.

Undersökningen genomfördes i Novus slumpmässigt rekryterade Sverigepanel med 1014 intervjuer på ett riksrepresentativt urval på åldern 18 – 79 år den 14 – 20 juni 2017.

Torbjörn Sjöström

VD

Novus

 

Om f.d. politiker som klagar på opinionsundersökningar

31 augusti, 2017

Jag hör lite då och då främst f.d. politiker som antingen nedlåtande eller raljerande kommenterar opinionsundersökningar.

”Jag lyssnade aldrig på opinionsundersökningar, jag pratade med mina statyer”

”Ja men det var ju bara en opinionsundersökning”

Visst är det tråkigt när någon klagar på ens yrke och något man är otroligt stolt över, men det finns en dimension till.

Det som raljeras över som opinionsundersökningar här är en metod och en process för att få fram kunskap kring väljarnas åsikt i en fråga, vad man tycker och vi ger oftast också svar om varför man tycker så.

T.ex.
En majoritet av svenska folket anser att Sverige utvecklas åt fel håll.

70% av svenska folket tror att skolan inte lär barnen det den ska. Men 70 % av de som har barn i skolan tycker att deras barns undervisning är bra.

Notera att det man raljerar över är inte att undersökningarna är felaktiga. Utan förekomsten av undersökningar. Undersökningar som visar folkviljan i aktuella politiska frågor.

När jag drar mig till minnes så är det bara f.d. politiker jag hört raljera över opinionsundersökningar.

Tur är väl det. Och vi får väl hoppas att man inte tänkte så när man var folkvald.

Torbjörn Sjöström

VD

Novus

 

Siffrornas magi, om metodförändringar i väljarbarometrar

20 juni, 2017

Både sifo och ipsos har nu börjat labba med metoder på sin publicerade väljarbarometer.

Det blev mycket väsen när vi kompletterade vår enkät pga misstroendeeffekten https://www.svt.se/opinion/matfelen

En statsvetare gick i taket och jag fick mycket fokus i tidningen Fokus. En rätt rolig artikel ändå, kan läsas här:  https://www.fokus.se/2016/02/mathatet/

En väljarbarometer hos alla etablerade aktörer består av en kombination av frågor som sedan resulterar i vad svenska folket skulle rösta på om det var val i dag, där kompletterade vi på Novus med några frågor till bland de som inte kunde uppge ett parti.

Vi byggde vidare på en beprövad metod och täppte till det misstroendehål vi kunde konstatera efter valet 2014. Först då var det faktiskt möjligt att göra, även om det fanns många tyckare som trodde sig veta det ena och det andra, så gick det inte att fastställa att det var något systematiskt fel innan valet 2014. (förresten det finns inget bevis på shy Trump voters heller)

Sen hände inte mycket i undersökningsbranschen på drygt två år, men sommaren 2016 kom Ipsos med sin metodförändring efter flera månader med ganska stora variationer i sina siffror. Ipsos sa att det var för att kompensera för att de underskattade SD, men när metoden lanserades så såg man inget sådant den månaden: Vill man nörda ned sig har jag lagt in SD:s siffror från alla undersökare här: http://novus.se/blogginlagg/hur-mycket-skiljer-valjarbarometrarna-sig-pa-sd/

Nu gör Ipsos två undersökningar, en på telefon med oklart antal intervjuer. Samt en på webben, oklart antal intervjuer.
Dessa behandlas som separata undersökningar och slås sedan ihop efter modellen:
Hela telefonundersökningen och halva webb.
Totalt säger man att den består av 2000 intervjuer.
Men om det betyder:

  • 1000 telefon och 1000 webb som slås ihop?
  • 1000 + halva 1000?
  • Eller 1000 + halva 2000?
  • Eller 500 + halva 3000?
  • Eller 500 + 1500?

Har inte jag lyckats reda ut. (om inte information om fördelning kommit nu på senare tid, men jag har inte sett det när jag letat)
Men det enda jag med säkerhet kan konstatera är att det blir billigare, och att felmarginalerna försvann. Mao undersökningen ger ingen ledtråd alls om hur träffsäker den är.

Det verkar vara något magiskt med sommaren, för nu sommaren 2017 publicerade Sifo en undersökning på 12000 intervjuer. Jag trodde det var ett tryckfel.
Sen visade de att de gjorde samma sak som ipsos.
Två undersökningar, en på webb och en på telefon som sen slås ihop.
Men här vet vi ungefär fördelningen. Så här står det på SvD:s hemsida, hittar inget på Sifos ”De traditionella knappt 2 000 telefonintervjuerna har kompletterats med en slumpmässig webbpanel” (resten av detaljerna är oklara, jag har skickat några frågor men ännu inte fått svar. Så texten utgår från det som är publikt)

knappa 2000 telefon och 10 000 webb = 12 000
Wow! Det låter ju jättemycket. Även om jag är precis lika tveksam till metoden som på ipsos, mer om det längre ned.
Sen gör sifo så här
2000 + 10% av undersökningen med 10000 webintervjuer
Mao 2000 + 1000 = 12 000…
Om man slår ihop två undersökningar och bara räknar den andra till en tiondels värde kan man verkligen säga att alla intervjuer används?

Sen kommer nästa frågetecken, Ipsos tycker att webb är hälften så pålitlig som telefon. Sifo att webb är en tiondel så pålitlig.
Båda verkar överens om att webb är sämre, även slumpmässig webb. Varför då fylla på med något man själv värderar ned? Sen undrar man ju också hur de kom fram till en tiondel eller hälften, men detaljer egentligen, båda är överens om att webb är sämre än telefon.

Sen blir det för Sifo precis som med Ipsos att jag undrar om man inte nu tappar möjligheten till att beräkna felmarginalen.

Intressant nog ser jag att Sifo räknar felmarginalen i sin rapport på en ”vägd bas på 2195”, av de totalt 12 022 intervjuer som de säger de gjort. Månaden innan genomförde de 1900 intervjuer på telefon.

Sifos rapport för väljarbarometern finns här

Sifo räknar därmed felmarginalen på 18% av de intervjuer de genomför… Alternativt inga av webbintervjuerna från deras nya metod, och lite fler telefonintervjuer denna månad jämfört med 1900 månaden innan, vilket är det troliga, de ignorerar helt webintervjuerna, och använder bara telefonintervjuerna. Mao Sifos 12 000 intervjuer är inte mer träffsäker än deras gamla med knappa 2000 intervjuer enligt de själva. Vilket ju stämmer, men det blir ju extremt missvisande om man säger att det är 12 000 intervjuer.

Samtidigt säger de att den andra undersökningen med sina 10 000 intervjuer påverkar resultatet för väljarbarometern, men inte träffsäkerheten? Det blir ju inte heller rätt.

Metoden kallas av båda företagen för mixed mode, eller multimode (om det inte ändrats eller personerna jag pratat med på respektive företag sagt fel).

Men mixed/multi mode är en annan sak, då har man ett urval (en undersökning) och låter respondenterna svara antingen på web eller telefon. SOM har gjort det länge och SCB gör så sedan ett tag tillbaka.

Det centrala här är ETT urval.

Men det sifo och ipsos gör är att ha TVÅ olika urval och undersökningar som behandlas olika, och sedan slås ihop
Hel + halv för ipsos
Hel + en tiondel för sifo

Detta är inte mixed mode, utan låter snarare som en poll of polls där undersökningarna som ingår värderas efter trovärdighet. Det som fungerade bra för Nate Silver och gjorde honom till en superstjärna. Men det många glömmer är att det fungerade bra en gång och om jag inte räknat fel för 5 val sedan.

Samtidigt blir det ironiskt när amerikanska undersökningsföretagen i USA idag är överens om att största problemet i USA var ”aggregatorerna” som Nate Silver (jag kom nyss tillbaka som enda svensk undersökare från amerikanska branschens stora eftervalsanalys, ja jag vet borde skriva om den). Det dolde vital information och fick det att se ut som ett mindre osäkert val än det var.
Det som fungerade bäst var telefon i USA (men man mätte fel sak, en annan historia)

Har man två urval som kan överlappa blir det svårt att räkna felmarginaler. För det förutsätter att man har koll på sånt, och det är väldigt bökigt med två undersökningar.

Mao vi har nu både Ipsos och Sifo som kommer med vad de kallar förbättrade metoder där båda ökar på antalet intervjuer med undersökningar de själva värderar som mindre värda.
Båda får problem felmarginalen, eller som Sifo sm verkar ignorerar web helt där trots att de låter webintervjuerna påverka resultatet.
Båda liknar snarare en poll of polls.
Båda är tveksamt hur många intervjuer man egentligen gör, och vad som räknas

Sen får man så klart göra hur man vill. Men jag tycker det är tråkigt när man säger att man förbättrar med data som man själv värderar som mindre värd.

Sen kommer nästa steg, hur gör man en poll of polls på poll?
I teorin vet jag så klart, men praktisk nytta? Kan man göra en pytt i panna på pytt i panna?

Undersökningar är ingen exakt vetenskap, men rätt använt är den otroligt värdefull. Att ett eller flera partier har någon procentenhets skillnad jämfört med valet kan vi snarare räkna med, det kallas felmarginalen. Att någon siffra kommer utanför felmarginalen är en risk på tjugo.

Att då två etablerade undersökningsföretag gör det svårt att räkna felmarginalen gör det inte bättre, utan tyder tyvärr på att man bara ändrar för ändrandets skull, inte för att det behövs.

Är det en konsekvens av faktaresistens i det publika rummet, åsikter jämställs med kunskap?

Borde man inte som kunskapsleverantör försvara den vetenskap som finns istället för att laborera?

Stora experiment med metodutveckling gör vi på Novus vid sidan av våra publicerade undersökningar, inte med dom, vi kastar heller inte ut den vetenskap och beprövad erfarenhet som finns. Särskilt inte som det kan verka vara på grund av högljudda tyckares krav på förändring.

MEN trots det kunde alla seriösa undersökningsföretag i Sverige i valet 2014 korrekt ange det parlamentariska läget vi har nu. Svensk träffsäkerhet i politiska mätningar är en av de bästa i världen, Holland som hyllades nyss hade sämre träffsäkerhet, Frankrikes presidentval lite högre. I Sverige är vi otroligt bortskämda med bra undersökningar och statistik. Det skall man inte kasta bort.

Något som Ipsos och Sifo bekräftar (och ju så klart vet att så är fallet) genom att nedvärdera web som de gör. Telefon funkar idag bäst på väljarbarometern. MEN slumpmässig webb är otroligt träffsäker också. Problemet ligger snarare i att man blandar urval här, det går emot allt jag vet om undersökningar. Därför kommer vi inte göra så.

Men att säga att Sifos väljarbarometer innehåller 12 000 intervjuer är vilseledande, oavsett hur man tänker när de bara använder 3000 av dom, om man ens kan säga 3000 är jag inte ens säker på, iom det mer verkar likna en poll of polls.

Sen slutligen, det som jag insett är absolut viktigaste för undersökare som skall vara relevanta i framtiden är integritet, kunderna köper kunskap, inte siffror. Vad är den värd om man inte känner att man kan lita på avsändaren? Vi måste stå för den kunskap vi levererar, det innebär att tro på datan vi baserar analysen på, hela datan, inte halva eller en tiondel.

Torbjörn Sjöström

VD

Novus