AAPOR del 1

För en månad sedan var det dags för AAPORs årliga konferens, det 74:e i ordningen, nästa år fyller AAPOR 75 år. Denna gång var det i Toronto, så alla Amerikaner fick ansöka om inresetillstånd precis som jag och de andra fåtal Européer som var där. Tanken är att det skall bli fler blogginlägg där jag tar upp lite intressanta saker och erfarenheter.

Upplägget är intensivt, det är 4,5 dagar med ca tre sessioner om dagen med upp till 12 parallella seminarier. Varje seminarie innehåller mellan 4 och 6 papers inom ett ämne. Så man måste välja relevanta spår. En del är fullständigt ointressant ur ett svenskt perspektiv och problembeskrivningen är så långt ifrån vår vardag i Sverige.

Men samtidigt är det en unik möjlighet att träffa intressanta forskare, bolla utmaningar och förstå USA. Samt se hur det kan gå när det går riktigt illa för undersökningsföretag och marknaden man verkar i.

Jon Krosnick som jag höll en föreläsning för i Stanford var så klart där, han har verkligen en unik kompetens i USA också, nästan vartannat seminarium jag var på refererade till forskning som Jon varit delaktig i. Eller som en föreläsare sa, när han tackade de som hjälpt honom, fritt från minnet. “And thank you Jon who knows everything about eberything”

Liten kul parentes, Jon var inte där när detta sades, hans kommentar var “Yes they say that because they mean I think I do”

Hursomhelst, den övergripande bilden av AAPORs 74:e årliga konferens var denna, egentligen inget nytt men viktigt att uppdatera sig:

USA är inget föregångsland vad gäller undersökningar. Det är intressant ur forskningsperspektiv, för att de bästa forskarna inom området finns här. Svarsfrekvensen har fullständigt havererat där. En telefonintervjuare genomför ungefär en intervju i timmen. Det är otroligt lågt, och kostnaden skenar så klart pga detta. Orsaken är många, en del är tyvärr branschen själva orsak till, då man fått lagar som hindrar dem att undersöka på ett effektivt sätt.

Men trots att svarsfrekvensen havererat betyder det inte att det inte fungerar. Bortfallet är inte en bra indikator på pålitligheten av en undersökning. Där är USA ett bevis. De som säger något annat skulle kunna klassas som faktaresistenta.

Dåliga urval är däremot förödande, det finns inga sätt att rädda det. Många försöker för många försöker desperat att få ned kostnaden. Men finns fortfarande inget stöd för att det skulle fungera. Min personliga åsikt är att det är omöjlig, lär man sig lite om panel-leverantörerna så inser man fort att problemen med självrekryterade paneler är monumentala och omöjliga att hantera egentligen.

Det är ett reellt problem när Donald Trump säger “the polls are fake”. Tyvärr har han lite sanning bakom påståendet ibland. Det kommer inte från ett vakuum, utan det finns enorma problem, så det är väldigt lätt att få momentum. När undersökningsföretag släppt vetenskapen på bekostnad av att dumpa priserna så blir inte undersökningarna pålitliga längre.

Förtroendet för undersökningsföretag är ett problem, metoderna är framställda på många håll för att spara pengar, inte att göra tillförlitliga undersökningar. Många är reaktiva och försöker överleva, snarare än att ta kommando över marknaden och bygga förtroendet. “a race to the bottom” istället för att skapa en bra framtid.

En hel del av seminarierna gick ut på hur man slår ihop en bra undersökning på t.ex. telefon och en dålig självrekryterad panel. Så att den självrekryterade skall bidra med något mervärde. För det finns vissa grupper i USA som är mycket svåra att nå. Dock när jag frågade varför man inte byggde upp egna slumpmässigt rekryterade paneler, så var svaret: Vi jobbar med den data vi kan få tag på.

Ett steg i den outsourcingtrend som pågått länge. Först outsourcade man telefonintervjuerna, men sedan outsourcade man datainsamlingen helt. Problemet blir då att datat blir uruselt. Som en forskare sa, “we know that the data providers lie, we just don’t know how to handle it”

Det fanns inga bra tillförlitliga lösningar på att slå ihop dem vad jag kunde se, om man inte redan hade koll på centrala åsikter. Men det är ju åsikter man skall ta fram i en undersökning. Vet man centrala åsikter redan faller undersökningen på eget grepp.

Lösningen är egentligen att bygga upp kontrollen av datat, att utgå från t.ex. slumpmässiga paneler man äger själv. Det finns några som har detta, men de är små. 40-50 000 respondenter i ett land med 327 miljoner invånare. Paneler som är mindre än Novus panel i Sverige… Sedan är IT vanan lägre i USA. Att blanda, postalt, telefon och web är en lösning att komma runt problemet. Men man måste ta kontrollen över datan. Det sker i alldeles för liten omfattning där.

Men allt var inte dystert. Det var en hel del intressant forskning som jag kommer komma tillbaka till. Men det mest intressanta var nog the presidential address, AAPORs avgående ordförande (David Dutwin) som pratade på en lunch. Han talade om hur man skulle vända trenden. Att man måste börja ta kontroll över bilden av undersökningsbranschen. Att man inte kan prata om felmarginaler om man inte har slumpmässiga urval. Att man måste utbilda journalister, och att man måste hantera det faktum att Trump kritiserar undersökningar.

Här finns talet i sin helhet, det är väldigt bra och sevärt:

På många sätt var det idéer jag utgick från och som jag arbetat med de senaste 8 åren. Det var faktisk några som lyssnade på hans presentation som trodde att det var därför jag var på AAPOR, för att föreläsa om mitt och Novus arbete. Men så var det inte. Novus i konstiga lilla Sverige har mycket att lära USAs bransch faktiskt, men det kommer ta lite tid innan jag får chans att göra det brett.

Det är faktiskt så att jag vill att de skall göra som vi, att de också tar vid den positiva trenden som vi startat i Sverige. Att undersökningsföretag är pålitliga kunskapsföretag. Det var för att så frön om detta som jag åkte till AAPOR utöver att få kunskap kring deras utmaningar. För deras utmaningar och fel är något jag behöver klä skott för varje dag.

Men det är verkligen en skum känsla att höra AAPORs ordförande lista alla de utmaningar vi noterade för 8 år sedan och pratar om att börja dra i dessa. När min tanke var att så frön om detta. När vi har hanterat och löst många av dem i Sverige. Det gjorde mig väldigt glad, det är en global utmaning för branschen och det krävs att fler än Novus driver detta för att stärka branschen. En värld utan tilltro till undersökningsföretag är en värld som gissar istället för vet. Både AAPOR och ESOMAR måste jobba aktivt med detta.

Det bekräftade återigen att Novus är världsunikt. Nästan så man får hålla lite tyst kring det man gjort och våra förutsättningar man har i Sverige. För de man pratar med häpnar över hur “enkelt” vi har det i Sverige. Även om inget kommit gratis, vi kan absolut inte ta något för givet. Men vi skall heller inte låtsas att det är värre än det är i Sverige. Det sistnämnda är nästan det värsta och något jag ser hela tiden. Aktörer som låtsas att det är kört i Sverige, trots att det absolut inte är det. Som profiterar på en demoniserad bild av vår bransch och den kunskap som finns.

Lite bakgrund om AAPOR, det är den Amerikanska branschorganisationen, den är lite mer forskningstung än ESOMAR som är en internationell branschorganisation. I AAPOR kan inte företag vara med, utan bara individer. I ESOMAR kan både individer och företag vara med.

Jag är som en av få svenskar medlem i AAPOR. Varför man man ibland undra, då det ju handlar mest om Amerika och USA i synnerhet. Men då hela världens undersökningsföretag bedöms utifrån amerikanska undersökningar. Så är det viktigt med en närvaro och djupare kunskap om de amerikanska förutsättningarna. För efter Trump var det jag som fick förklara och försvara de amerikanska företagens missar. Jag var också enda svensk undersökare som var på AAPORs eftervalsanalys för ett par år sedan. George Gallup var förresten också med i starten av AAPOR om jag minns rätt.

Torbjörn Sjöström

VD

Novus