Novus svar på ESOMARs 28 frågor
Novus är medlem i den internationella branschorganisationen ESOMAR.
Esomar har tagit fram 28 frågor som skall hjälpa kunder och allmänheten att avgöra seriositeten hos ett undersökningsföretag och har fokus på on-line undersökningar.
Här är Novus svar på dessa frågor:
1. Vilken erfarenhet har Novus av att erbjuda webbpanelundersökningar?
Novus är ett undersökningsföretag som startade 2006 och arbetar heltäckande inom opinion, marknad och strategi med metoder som anpassas efter frågeställning och målgrupp.
Sedan start har vi arbetat med webbpanelundersökningar som är kärnan i vår verksamhet. Vi arbetar dels med vår egen riksrepresentativa webbpanel, Novus Sverigepanel, och dels med kund- och medlemspaneler. Panelkvalitet och urvalshantering är hjärtat i vår panelverksamhet. Detta innebär att vi arbetar mycket med processer, urvalshantering, panelvård, panelhantering och den s.k. ”paneleffekten”.
Idag består Novus Sverigepanel av cirka 50 000 slumpmässigt rekryterade panelmedlemmar från hela landet som enligt branschorganisationen Esomars riktlinjer besvarat minst en undersökning under senaste året. Resultat från panelen speglar verkligheten, d.v.s. levererar riksrepresentativa och tillförlitliga resultat. Undersökningar i panelen kan genomföras snabbt, kostnadseffektivt och med hög kvalitet. Panelen är dock färskvara vilket innebär att vi kontinuerligt nyrekryterar medlemmar till panelen.
Webbpanelundersökningar från Novus Sverigepanel är idag de mest citerade webbpanelundersökningarna i svensk media.
Urvalskällor och rekrytering
2. Vilka källor använder Novus för att rekrytera medlemmar till Novus Sverigepanel?
Vi använder oss av en obunden slumpmässig rekrytering, d.v.s. inte självrekrytering. Detta innebär att initiativet vid rekrytering alltid kommer från Novus och att ingen kan anmäla sig själv eller ”ansöka” om att vara med i webbpanelen. Anledningen till att vi inte har någon självrekrytering, d.v.s. där man kan anmäla sig själv, är att det är viktigt för oss att ha full kontroll över urvalet, så att inte proffstyckare, extremister som vill framföra sin åsikt etc. blir överrepresenterade samt att det krävs ett slumpmässigt rekryterat urval för att kunna redovisa statistiska felmarginaler.
3. Hur hanterar Novus panelrekrytering från flera olika källor till Novus Sverigepanel?
Novus rekryterar inte från flera olika källor. Rekryteringen sker istället regelbundet via obundna slumpmässiga urval bland allmänheten som telefonnummersätts. I steg 1 rekryteras panelmedlemmarna via telefonintervjuer. I steg 2 använder vi sms-inbjudan och i steg 3 använder vi ett postalt utskick med personlig kod för att anmäla sig till panelen. Vid det postala utskicket kontaktas även de som vi inte lyckats sätta telefonnummer på.
När de gäller dessa kända underrepresenterade grupper används offentlig statistik för att kontrollera dessa grupper.
4. Används Novus Sverigepanel endast för undersökningar?
Novus Sverigepanel används endast för undersökningar. Vi garanterar att inga panelmedlemmar lämnas ut till tredjepart eller att de används i något annat än i undersökningssyfte. Alla panelmedlemmar behandlas självklart konfidentiellt. Att skydda panelmedlemmarnas personliga integritet är lika viktigt för oss som för panelmedlemmarna.
5. Hur når Novus grupper som vanligtvis är svåra att nå via Novus Sverigepanel?
I de fall vi inte kan nå en målgrupp i Novus Sverigepanel använder vi oftast telefon, postalt utskick eller personliga intervjuer. I en del fall rekryteras målgruppen via telefon men de besvarar undersökningen på webben.
6. Hur hanterar Novus situationer där Novus Sverigepanel inte har tillräckligt många medlemmar i en målgrupp för att uppfylla behovet för en specifik undersökning?
Novus anlitar då en kvalitetssäkrad samarbetspartner. Novus använder sig idag av en samarbetspartner med slumpmässigt rekryterade panel som uppfyller Novus kvalitetskrav. Novus genomför regelbundet parallelltester för att utvärdera kvaliteten i befintliga och potentiella samarbetspartners webbpaneler. I de fall som en samarbetspartner behöver anlitas informerar Novus även kunden.
Urval och projekthantering
7. Hur säkerställer Novus att Novus Sverigepanel ger riksrepresentativa resultat?
Vi använder oss av en obunden slumpmässig rekrytering, d.v.s. inte självrekrytering, till Novus Sverigepanel.
Inför varje undersökning dras ett stratifierat urval på kända variabler ur webbpanelen i den relevanta målgruppen. I databearbetningarna vägs resultaten på kända variabler som t.ex. kön, ålder och region.
I alla urvalsundersökningar är resultaten att betrakta som närmevärden. Tillförlitligheten i resultaten bestäms av frågeformuleringar och urvalets egenskaper. Novus lägger därför mycket stor vikt vid dessa aktiviteter. Detta innebär sammantaget att resultat från Novus Sverigepanel ger riksrepresentativa resultat.
Som ett resultat av Novus forskningsstudie ”Novus Parallellstudie – Självrekryterade jämfört med Slumpmässigt rekryterade paneler”, har vi även beslutat att exkludera alla panelmedlemmar som angivit att de är med i tre paneler eller fler. Vi vill därmed begränsa externa panelleverantörers påverkan på våra undersökningsresultat. Även om vi ser att denna effekt är minimal på vår panel idag vill vi förebygga all eventuell framtida påverkan.
”Novus Parallellstudie – Självrekryterade jämfört med Slumpmässigt rekryterade paneler”
8. Använder Novus någon programvara eller router för att bjuda in respondenter till undersökningar?
Nej! Detta för att det för Novus är det viktigt att ha full kontroll på urvalet som dras och skickas ut för respektive undersökning.
9. Denna fråga är endast relevant om man använder någon programvara eller router för att bjuda in respondenter till undersökningar?
10. Denna fråga är endast relevant om man använder någon programvara eller router för att bjuda in respondenter till undersökningar?
11. Denna fråga är endast relevant om man använder någon programvara eller router för att bjuda in respondenter till undersökningar?
12. Vilka bakgrundsvariabler finns tillgängliga för medlemmarna i Novus Sverigepanel?
Medlemmarna i Novus Sverigepanel får minst en gång om året besvara ett frågeformulär med 50-60 olika bakgrundsvariabler. Några av de bakgrundsvariabler som används mest frekvent är kön, födelseår, postnummer, utbildning, sysselsättning, civilstånd, hushållsinkomst och partisympati.
13. Vilken information innehåller inbjudningstexten till en undersökning i Novus Sverigepanel?
Novus inbjudningstexter inkluderar alltid information om uppskattad längd på formuläret, eventuella belöningspoäng, anonymitetsgaranti, kontaktinfo till webbpanelsupporten samt information om att det alltid är frivilligt att besvara Novus undersökningar. Novus informerar dock endast i undantagsfall om vilket ämne som undersökningen handlar om. Detta för att undvika någon form av bias.
14. Vilken typ av belöningssystem används för Novus Sverigepanel?
Det utgår en belöning för de undersökningar som medlemmarna i Novus Sverigepanel besvarar. Belöningen består av poäng som sätts in på varje medlems poängkonto. Varje medlem har en personlig inloggning på Novus panelsajt.
Poängen kan användas för att skänka pengar till Röda Korset, växlas in till en biobiljett eller ett Superpresentkort. Intjänade poäng har en giltighetsperiod på två fulla kalenderår efter det år när du tjänade in dem.
15. Vilken information behöver Novus för att säkerställa att en undersökning kan genomföras inom ramen för Novus Sverigepanel.
Novus arbetar aktivt med uppföljning av deltagarfrekvenser och gjort många studier för att kartlägga hur dessa skiljer sig åt beroende på inbjudningstext, längd på undersökningen, längd på fältperiod, typ av ämne, antal påminnelser mm.
Detta tillsammans med kännedom om penetrationen i målgruppen ger oss möjlighet att estimera antalet möjligt inkomna svar för olika typer av undersökningar. Om penetrationen är okänd har vi möjlighet att skaffa oss en uppfattning om penetrationen genom att läggar in en kontrollfråga i Novus Sverigebuss som genomförs varje vecka.
16. På vilket sätts följer Novus upp respondenternas upplevelse av den undersökning de besvarat? Delges kunden denna information?
All relevant information som skickas via e-post till Novus panelsupporten delges kunden. I många av Novus undersökningar ges respondenterna även möjlighet att återkoppla relevant information i formuläret Även här delges kunden all relevant information.
17. Vilken information delger Novus till kunden efter avslutat projekt
Förutom resultat, slutsatser och eventuella rekommendationer så innehåller rapporten även information om Novus Sverigepanel samt antal genomförda intervjuer, deltagarfrekvens och fältperiod.
Datakvalitet och validering
18. Hur kvalitetssäkras resultaten från undersökningar i Novus Sverigepanel?
Novus genomför alltid en rimlighetskontroll och att det finns en logik i svaren (exempel: om man tycker om glass och choklad, då tycker man också om chokladglass). Dessutom görs jämförelse mot eventuellt tidigare liknande studier. Kvaliteten i svaren beror förutom på frågeformulärets utformande även bl.a. på urvalet. Att den demografiska profilen bland de svarande ser bra ut är inte tillräckligt för att säkerställa representativiteten bland de som har svarat. Novus identifierar även de respondenter som besvarar undersökningen på mycket kortare tid än genomsnittet och/eller medianen (”Slumpmässiga kryssare”) samt de som i bakgrundsformuläret angivit att de i genomsnitt besvarar fler än 3-4 undersökningar/månad (”Proffstyckare”).
19. Hur ofta kan en panelmedlem bli inbjuden till en ny undersökning i Novus Sverigepanel?
I genomsnitt blir en panelmedlem i Novus Sverigepanel inbjuden till 1-2 undersökningar per månad.
20. Hur ofta kan en panelmedlem besvara en ny undersökning i Novus Sverigepanel?
I genomsnitt besvarar panelmedlemmarna i Novus Sverigepanel 10-11 undersökningar per år.
21. Vilken typ av information sparas för panelmedlemmarna i Novus Sverigepanel?
Förutom e-postadress och de bakgrundsvariabler som uppdateras regelbundet sparas även information om när panelmedlemmen blev medlem samt vilka undersökningar som panelmedlemmen blivit inbjuden till samt besvarat. Dessutom sparas panelmedlemens belöningshistorik.
22. Vilka rutiner finns för att säkerställa att panelmedlemmarna i Novus Sverigepanel besvarar undersökningarna sanningsenligt?
Vi använder oss av en slumpmässig rekrytering, det vill säga inte ”självrekrytering”. Detta innebär att initiativet vid rekrytering alltid kommer från Novus och att ingen kan ”ansöka” om att vara med i webbpanelen. Anledningen till att vi inte har någon självrekrytering, där man kan anmäla sig själv, är att det är viktigt för oss att ha full kontroll över urvalet och att ingen ska kunna anmäla sig till panelen med flera olika identiteter. Slumpmässiga urval är den vetenskapliga grund som hela undersökningsbranschen är baserad på, vid självrekrytering så faller denna vetenskapliga grund.
Sannolikheten att rekrytera de ”slumpmässiga kryssarna” och ”proffstyckare” minimeras till skillnad mot i ”självrekryterade” paneler. Dessa utmärker sig annars genom att de är med i många paneler, besvarar många undersökningar, använder mycket kortare tid på att besvara undersökningen och riskerar att i mycket högre grad ha lärt sig saker i tidigare undersökningar som de har nytta av när det besvarar nya undersökningar.
Se även punkt 18 ovan.
Policy och integritet
23. Hur ser processen ut från att en respondent tackat ja till att vara med i Novus Sverigepanel till att den registrerats som medlem?
För att bli medlem krävs att respondenten blivit slumpmässigt rekryterad och tackat ja till att medverka. Därefter måste respondenten bekräfta sitt medlemskap genom att besvara ett frågeformulär med relevanta bakgrundsfrågor.
24. Hur hanterar Novus den personliga integriteten?
Respondentens svar behandlas anonymt. Novus garanterar att ingen kommer att se vilka respondenter som deltagit i en undersökning eller vad enskilda respondenter svarat. Det är frivilligt att svara på de undersökningar Novus skickar ut och alla svar behandlas självklart konfidentiellt. Att skydda respondenternas personliga integritet är lika viktigt för oss som för respondenterna. E-postadresser från panelen lånas aldrig ut och säljs aldrig vidare. Deltagare i Novus Sverigepanel har rätt att delta utan att ange annan ID än en e-postadress.
25. Hur hanterar Novus panelens datasäkerhet?
Backuper tas på ett sådant sätt att vid diskkrasch försvinner mindre än ett dygns data (under normala arbetsdagar). I Novus egna system är det endast behöriga som har tillgång till de servrar och mappar där sekretessbelagd information finns lagrad. E-postadressen är den enda identifikationsvariabel som Novus sparar för alla panelmedlemmar i Novus Sverigepanel. När Novus genomför undersökningar sparar vi personuppgifter och insamlade svarsdata i krypterade databaser där personuppgifter och svarsdata är pseudonymiserad. Pseudonymiseringen innebär att personuppgifter och insamlade svarsdata lagras i olika databaser, i olika format och på olika ställen.
26. Vilka riktlinjer har Novus när det gäller att visa kunders material i undersökningar till Novus Sverigepanel?
Det finns igen garanti för att bilder, ljudfiler och filmer i Novus undersökningar på ett eller annat sätt kan spridas till andra än de som besvarar undersökningen. Risken för att detta sker är dock större i självrekryterade paneler än i slumpmässigt rekryterade paneler. Novus informerar alltid kunden om denna risk och kan i känsliga fall erbjuda andra undersökningsmetoder som t.ex. personliga intervjuer eller gruppdiskussioner. Paneldeltagandet i Novus Sverigepanel bygger på ömsesidigt en förtroende.
27. Är Novus kvalitetscertifierade?
Novus är inte ISO certifierade men arbetar i ett eget kvalitetssystem där alla våra projektprocesser är dokumenterade.
28. Genomför Novus undersökningar med barn och ungdomar?
Novus Sverigepanel innehåller medlemmar från 16 år och uppåt. I de fall vi har behov att intervjua personer som är yngre än 16 år tas alltid kontakten genom deras föräldrar och inga undersökningar genomförs utan deras medgivande.