Svar på ESOMARs 28 frågor

Novus är medlem i den internationella branschorganisationen ESOMAR.

Esomar har tagit fram 28 frågor som skall hjälpa kunder och allmänheten att avgöra seriositeten hos ett undersökningsföretag och har fokus på on-line undersökningar.

Esomars 28 frågor finns att läsa här. 

Här är Novus svar på dessa frågor:

1. Vilken erfarenhet har Novus av att erbjuda webbpanelundersökningar?

Novus är ett undersökningsföretag som startade 2006 med ambitionen att förena traditionell undersökningsmetodik med moderna medier och därmed leda företag och organisationer från åsikt till insikt. Novus arbetar heltäckande inom opinion, marknad och strategi med metoder som anpassas efter frågeställning och målgrupp.

Novus Sverigepanel speglar verkligheten. Panelkvalitet och urvalshantering är hjärtat i vår panelverksamhet. Detta innebär att vi arbetar mycket med processer, urvalshantering, panelvård, panelhantering och den så kallade ”paneleffekten”.

Undersökningar i panelen kan genomföras snabbt, kostnadseffektivt och med hög kvalitet. Våra onlinepanelundersökningar kan leverera riksrepresentativa och tillförlitliga resultat. Panelen är dock färskvara vilket innebär att vi kontinuerligt nyrekryterar medlemmar till panelen.

Webbpanelundersökningar från Novus Sverigepanel är idag de mest citerade webbpanelundersökningarna i media.

Urvalskällor och rekrytering

2. Vilka källor använder Novus för att rekrytera medlemmar till Novus Sverigepanel?

Vi använder oss av en slumpmässig rekrytering, det vill säga inte självrekrytering. Detta innebär att initiativet vid rekrytering alltid kommer från Novus och att ingen kan anmäla sig själv eller ”ansöka” om att vara med i webbpanelen. Anledningen till att vi inte har någon självrekrytering, där man kan anmäla sig själv, är att det är viktigt för oss att ha full kontroll över urvalet samt att det krävs ett slumpmässigt rekryterat urval för att kunna redovisa statistiska felmarginaler.

Rekryteringen sker framförallt genom slumpmässiga telefonintervjuer men även genom riktade personliga inbjudningar till kända underrepresenterade målgrupper, om telefonnummer saknas till en utvald person så skickas en personlig inbjudan via post för att säkerställa att även personer utan registrerat telefonnummer också finns med i urvalet.

3. Hur hanterar Novus panelrekrytering från flera olika källor till Novus Sverigepanel?

Rekryteringen sker som nämnts i punkten ovan framförallt genom slumpmässiga telefonintervjuer men även genom riktade personliga inbjudningar till kända underrepresenterade målgrupper.

När det gäller dessa kända underrepresenterade grupper används offentlig statistik för att kontrollera dessa grupper.

4. Används Novus Sverigepanel endast för undersökningar?

Novus Sverigepanel används endast för undersökningar. Vi garanterar att inga panelmedlemmar lämnas ut till tredjepart eller att de används i något annat än i undersökningssyfte.  Alla panelmedlemmar behandlas självklart konfidentiellt. Att skydda panelmedlemmarnas personliga integritet är lika viktigt för oss som för panelmedlemmarna.

5. Hur når Novus grupper som vanligtvis är svåra att nå via Novus Sverigepanel?

I de fall vi inte kan nå en målgrupp i Novus Sverigepanel använder vi oftast telefon, postalt utskick eller personliga intervjuer. I en del fall rekryteras målgruppen via telefon men de besvarar undersökningen på webben.

6. Hur hanterar Novus situationer där Novus Sverigepanel inte har tillräckligt många medlemmar i en målgrupp för att uppfylla behovet för en specifik undersökning?

Novus genomför regelbundet parallelltester för att utvärdera kvaliteten i olika paneler. Detta innebär att Novus idag har två samarbetspartners med slumpmässigt rekryterade paneler som uppfyller Novus kvalitetskrav.

Novus informerar även kunden i de fall som en samarbetspartner behöver anlitas.

Urval och projekthantering

7. Hur säkerställer Novus att Novus Sverigepanel ger riksrepresentativa resultat?

Vi använder oss av en slumpmässig rekrytering, det vill säga inte självrekrytering, till Novus Sverigepanel.

Inför varje undersökning dras ett slumpmässigt stratifierat urval på kända variabler ur webbpanelen i den relevanta målgruppen. I databearbetningarna vägs resultaten på kända variabler som t.ex. kön, ålder, region och partisympati.

I alla urvalsundersökningar är resultaten att betrakta som närmevärden. Tillförlitligheten i resultaten bestäms av frågeformuleringar, urvalets egenskaper och intervjuform. Novus lägger därför mycket stor vikt vid dessa aktiviteter. Detta innebär att Novus Sverigepanel ger riksrepresentativa resultat.

Som ett resultat av Novus forskningsstudie har vi även beslutat att exkludera alla panelmedlemmar som är med i fler än två paneler. Vi vill därmed begränsa externa panelleverantörers påverkan på våra undersökningsresultat. Även om vi ser att denna effekt är minimal på vår panel idag vill vi förebygga all eventuell framtida påverkan.

8. Använder Novus någon programvara eller router för att bjuda in respondenter till undersökningar?

Nej, Novus använder inte någon programvara eller router för att bjuda in eller styra respondenter till undersökningar.

Använder man en s.k. router så innebär det att en respondent inte blir inbjuden till en specifik undersökning, med andra ord respondenten får svara på den undersökning som är mest aktuell för att slutföras när de besöker hemsidan. Det är ett sätt att sänka kostnaden, men det är på bekostnad av stora kvalitetsbrister. Det innebär att urvalet blir svårt att förutsäga och bortfallet blir omöjligt att räkna fram.

För Novus är det viktigt att ha full kontroll på urval. Inför varje undersökning dras därför ett stratifierat urval ur webbpanelen i den relevanta målgruppen.

Novus deltagarfrekvens ligger i regel i en webbundersökning med allmänheten på ca 60%.

9. Om ni använder en router: Beskriv processen kring den?

Novus använder självklart ingen router.

10. Om ni använder en router: Hur säkerställer ni att man inte får en åsiktsmässig skevhet?

Novus använder självklart inte en router.

11. Om ni använder en router: Vem på företaget sätter parametrarna för den?

Novus använder självklart inte en router.

12. Vilka bakgrundsvariabler finns tillgängliga för medlemmarna i Novus Sverigepanel?

Medlemmarna i Novus Sverigepanel får minst en gång om året besvara ett frågeformulär med 50-60 olika bakgrundsvariabler. Några av de bakgrundsvariabler som används mest frekvent är kön, födelseår, postnummer, utbildning, sysselsättning, civilstånd, hushållsinkomst och partisympati.

13. Vilken information innehåller inbjudningstexten till en undersökning i Novus Sverigepanel?

Novus inbjudningstexter inkluderar alltid information om uppskattad längd på formuläret, eventuella belöningspoäng, anonymitetsgaranti, kontaktinfo till webbpanelsupporten samt information om att det alltid är frivilligt att besvara Novus undersökningar. Novus informerar dock endast i undantagsfall om vilket ämne som undersökningen handlar om. Detta för att undvika någon form av bias.

14. Vilken typ av belöningssystem används för Novus Sverigepanel?

Det utgår en belöning för de undersökningar som medlemmarna i Novus Sverigepanel besvarar. Belöningen består av poäng som sätts in på varje medlems poängkonto. Varje medlem har en personlig inloggning på Novus panelsajt.

Poängen kan användas för att skänka pengar till Röda Korset, växlas in till ett Pocketogram eller ett Superpresentkort. Intjänade poäng har en giltighetsperiod på två fulla kalenderår efter det år när du tjänade in dem.

15. Vilken information behöver Novus för att säkerställa att en undersökning kan genomföras inom ramen för Novus Sverigepanel.

Novus arbetar aktivt med uppföljning av deltagarfrekvenser och gjort många studier för att kartlägga hur dessa skiljer sig åt beroende på inbjudningstext, längd på undersökningen, längd på fältperiod, typ av ämne, antal påminnelser mm.

Detta tillsammans med kännedom om penetrationen i målgruppen ger oss möjlighet att estimera antalet möjligt inkomna svar för olika typer av undersökningar. Om penetrationen är okänd har vi möjlighet att skaffa oss en uppfattning om penetrationen genom att läggar in en kontrollfråga i Novus Sverigebuss som genomförs varje vecka.

16. På vilket sätts följer Novus upp respondenternas upplevelse av den undersökning de besvarat? Delges kunden denna information?

All relevant information som skickas via e-post till Novus panelsupporten delges kunden. I många av Novus undersökningar ges respondenterna även möjlighet att återkoppla relevant information i formuläret Även här delges kunden all relevant information.

17. Vilken information delger Novus till kunden efter avslutat projekt

Förutom resultat, slutsatser och eventuella rekommendationer så innehåller rapporten även information om Novus Sverigepanel samt antal genomförda intervjuer, deltagarfrekvens och fältperiod.

Datakvalitet och validering

18. Hur kvalitetssäkras resultaten från undersökningar i Novus Sverigepanel?

Novus genomför alltid en rimlighetskontroll och att det finns en logik i svaren (exempel: om man tycker om glass och choklad, då bör man också tycka om chokladglass). Dessutom görs jämförelse mot eventuellt tidigare liknande studier. Kvaliteten i svaren beror förutom på frågeformulärets utformande även på urvalet. Att den demografiska profilen bland de svarande ser bra ut är inte tillräckligt för att säkerställa representativiteten bland de som svarat. Novus identifierar även de respondenter som använder mycket kortare tid på att besvara undersökningen än genomsnittet och/eller medianen (”Slumpmässiga kryssare”) samt de som besvarar fler än 3-4 undersökningar/månad (”Proffstyckare”).

19. Hur ofta kan en panelmedlem bli inbjuden till en ny undersökning i Novus Sverigepanel?

I genomsnitt blir en panelmedlem i Novus Sverigepanel inbjuden till 1-2 undersökningar per månad.

20. Hur ofta kan en panelmedlem besvara en ny undersökning i Novus Sverigepanel?

I genomsnitt besvarar panelmedlemmarna i Novus Sverigepanel 10-11 undersökningar per år.

21. Vilken typ av information sparas för panelmedlemmarna i Novus Sverigepanel?

Förutom e-postadress och de bakgrundsvariabler som uppdateras regelbundet sparas även information om när panelmedlemmen blev medlem samt vilka undersökningar som panelmedlemmen blivit inbjuden till samt besvarat. Dessutom sparas panelmedlemens belöningshistorik.

22. Vilka rutiner finns för att säkerställa att panelmedlemmarna i Novus Sverigepanel besvarar undersökningarna sanningsenligt?

Vi använder oss av en slumpmässig rekrytering, det vill säga inte ”självrekrytering”. Detta innebär att initiativet vid rekrytering alltid kommer från Novus och att ingen kan ”ansöka” om att vara med i webbpanelen. Anledningen till att vi inte har någon självrekrytering, där man kan anmäla sig själv, är att det är viktigt för oss att ha full kontroll över urvalet och att ingen ska kunna anmäla sig till panelen med flera olika identiteter. Slumpmässiga urval är den vetenskapliga grund som hela undersökningsbranschen är baserad på, vid självrekrytering så faller denna vetenskapliga grund.

Sannolikheten att rekrytera de ”slumpmässiga kryssarna” och ”proffstyckare” minimeras till skillnad mot i ”självrekryterade” paneler. Dessa utmärker sig annars genom att de är med i många paneler, besvarar många undersökningar, använder mycket kortare tid på att besvara undersökningen och riskerar att i mycket högre grad ha lärt sig saker i tidigare undersökningar som de har nytta av när det besvarar nya undersökningar.

Se även punkt 18 ovan.

Policy och integritet

23. Hur ser processen ut från att en respondent tackat ja till att vara med i Novus Sverigepanel till att den registrerats som medlem?

För att bli medlem krävs att respondenten blivit slumpmässigt rekryterad och tackat ja till att medverka. Därefter måste respondenten bekräfta sitt medlemskap genom att besvara ett frågeformulär med relevanta bakgrundsfrågor.

24. Hur hanterar Novus den personliga integriteten?

Respondentens svar behandlas anonymt. Novus garanterar att ingen kommer att se vilka respondenter som deltagit i en undersökning eller vad enskilda respondenter svarat. Det är frivilligt att svara på de undersökningar Novus skickar ut och alla svar behandlas självklart konfidentiellt. Att skydda respondenternas personliga integritet är lika viktigt för oss som för respondenterna. E-postadresser från panelen lånas aldrig ut och säljs aldrig vidare. Deltagare i Novus Sverigepanel har rätt att delta utan att ange annan ID än en e-postadress.

25. Hur hanterar Novus panelens datasäkerhet?

Backuper ska tas på ett sådant sätt att vid diskkrasch bara ett dygns data försvinner (under normala arbetsdagar). I Novus egna system är det endast behöriga som har tillgång till de servers och mappar där sekretessbelagd information finns lagrad. E-postadressen är den enda identifikationsvariabel som Novus sparar för alla panelmedlemmar i Novus Sverigepanel. All data är krypterad och endast behörig personal har access till informationen.

26. Vilka riktlinjer har Novus när det gäller att visa kunders material i undersökningar till Novus Sverigepanel?

Det finns igen garanti för att bilder, ljudfiler och filmer i Novus undersökningar på ett eller annat sätt kan spridas till andra än de som besvarar undersökningen. Risken för att detta sker är dock större i självrekryterade paneler än i slumpmässigt rekryterade paneler. Novus informerar alltid kunden om denna risk och kan i känsliga fall erbjuda andra undersökningsmetoder som t.ex. personliga intervjuer eller gruppdiskussioner.  Paneldeltagandet i Novus Sverigepanel bygger på ömsesidigt en förtroende.

27. Är Novus kvalitetscertifierade?

Novus är inte ISO certifierade men arbetar i ett eget kvalitetssystem där alla våra projektprocesser är dokumenterade.

28. Genomför Novus undersökningar med barn och ungdomar?

Novus Sverigepanel innehåller medlemmar från 16 år och uppåt. I de fall vi har behov att intervjua personer som är yngre än 15 år tas alltid kontakten genom deras föräldrar och inga undersökningar genomförs utan deras medgivande.