Kan utseendet på en fråga med ett öppet svarsalternativ påverka frågans resultat?
Kan utseendet på en fråga med ett öppet svarsalternativ påverka frågans resultat?
Novus verkar i en förtroendebransch där det är av största vikt att resultaten är korrekta och användbara.
Det här inlägget handlar dock inte om varför man ska använda slumpmässigt rekryterade paneler eller varför man inte ska använda självrekryterade paneler där felmarginal inte kan beräknas. Inte heller handlar det om vikten av att inte ställa ledande frågor eller vad som händer med kvaliteten i svaren vid för långa undersökningar.
Allt detta är självklarheter för Novus, även om vi tyvärr behöver tjata om sånt som är självklarheter lite väl ofta.
Istället handlar inlägget om de utmaningar som finns när det gäller undersökningars layout. Detta är något som vi i allt större utsträckning lägger vikt vid, bl.a. eftersom fler och fler besvarar undersökningar i sin mobiltelefon.
Kan utseendet på en fråga med ett öppet svarsalternativ påverka frågans resultat?
Vi testade fyra olika scenarion i Novus Sverigepanel där samma fråga ställdes, men där utseendet på frågan varierades. Vi ställde frågan ”Vet du vad företaget gör?”, till de respondenter som uppgav att de kände till ett särskilt företag.
Utfallet skilde sig åt väsentligt mellan dessa fyra scenarion.
Scenario 1 (stort öppet svarsfält, stor nej-knapp):
50% svarade ”Nej”
Scenario 2 (litet öppet svarsfält, stor nej-knapp):
40% svarade ”Nej”
Scenario 3 (litet öppet svarsfält, liten nej-knapp):
10% svarade ”Nej”
Scenario 4 (litet öppet svarsfält, ingen nej-knapp):
5% svarade ”Nej”
Hur ska dessa resultat tolkas?
Andelen som svarar på mobiltelefon ökar för varje år. Det är jobbigare att skriva in ett öppet svar på mobil än på dator, vilket leder till att fler och fler väljer den ”enkla” vägen och använder den stora knappen (om den finns) för att skriva in sitt svar i fritextrutan.
En stor fritextruta som i scenario 1 ger inte fler öppna svar än en mindre fritextruta som i scenario 2 utan tvärtom. Tröskeln blir istället ännu högre vid en större ruta eftersom respondenten tolkar detta som att de måste skriva in mer fritext.
Om man ändå vill ge möjligheten för respondenterna att klicka ”Nej” ska man använda en liten fritextruta samt en liten ”radioknapp”.
Ändra heller aldrig i layouten på en öppen eller halvöppen fråga om du ska göra jämförelser med tidigare resultat. Detta eftersom resultaten då inte blir jämförbara.
Avslutningsvis undrar säkert någon hur stor andel som besvarar Novus undersökningar via mobilen. Numera är det över hälften som besvarar Novus allmänhetsundersökningar i mobilen men det varierar förstås mellan olika målgrupper. Mer om detta kommer du kunna läsa i ett inlägg som kommer i en nära framtid.
Mikael Ohlsson
Kvalitetsansvarig på Novus