Poll of polls, hur funkar matten?
I Ekots poll of polls (inte att föväxla med Novus Svensk väljaropinion, som Ekot publicerade fram till för ett år sedan) kunde man läsa detta:
”Totalt antal intervjuer oktober 2017: 3 596 st”
De institut de säger ingår i sammanvägningen är
Novus, Kantar Sifo, Ipsos och Demoskop
Räknar man antal intervjuer per undersökning så blir det det ca: 4000 + 12000 + 1600 + 1200 = 18 800 intervjuer
Men det står 3596 intervjuer i Ekots sammanvägning. Hur går det till?
Jag ställde frågan på Facebook om någon lyckades räkna ut hur 18800 blir 3596, men ingen kunde räkna ut det, så här kommer facit. Det är några märkliga steg, så jag hoppas jag kan få det pedagogiskt.
Först om vi börjar med Sifos 11 228 intervjuer, (2-12 oktober) så räknar Sifo inte ens själva med 11 228 intervjuer utan de räknar med ca 2197 st. 11 228 intervjuer är ca 1800 telefon och resten webb. Men de dryga 10 000 webb räknar sifo själva till att vara värda 10 % av telefonintervjuerna. Så ca 10 000 webb viktas ned till ca 200 intervjuer… Mao 11 228 intervjuer är i Sifos värld egentligen 2197 intervjuer. Låter mycket och spännande, men samtidigt hur skall man förhålla sig till det när man inte själv räknar dem fullt ut, om 10 000 intervjuer är värda ett par hundra?
Mao Sifos 11 200 = 2196 intervjuer
Ipsos, 1609 intervjuer, 604 telefon och 1005 webb (12 – 22 oktober), deras metodförändring innebar att de tog bort decimalerna och presenterar endast heltal. Så det kan lätt uppfattas som slagigt. en förändring på 0,1 från 7,4 till 7,5 går i deras undersökning från 7 till 8. Man tog bort decimalerna för att få mindre fokus på siffrorna… Blev det inte tvärtom tänker jag?
Utöver det tog de bort felmarginalerna, med andra ord kan man inte uttala sig om förändringarna är säkerställda eller inte. Men antal intervjuer här är det lite oklart hur många som räknas, kolla nedan. Får inte ihop detta nämligen.
Demoskop 1250 intervjuer (24 september – 1 oktober)
Novus 4003 intervjuer (4 september – 1 oktober) på telefon.
Ekot publicerade sin poll of polls den 28 oktober och gäller oktober månad, så kolla fältperioden ovan. Novus och Demoskop hade sista intervjudag 1 oktober. Sifo och Ipsos hade sina intervjuer under oktober.
Sifo 2196 + Ipsos 1609 = 3805
Sen borde man lägga till en dags intervjuer för Novus och Demoskop. Men det blev ändå fler än vad Ekot uppger att det är med… Så det var kanske ett litet räknefel ändå.
Men om man bara räknar Ipsos telefonintervjuer som var 604 st.
2196 + 604 = 2800
lägg sedan till en dag i oktober för Demoskop 156
Sen en dag i oktober för Novus 143
2196 + 604 + 156 + 143 = 3099
Nej blir inte 3596 ändå, saknas nästan 500 intervjuer.
Samtidigt skriver man att de institut som ingår är Novus, Sifo, Demoskop och Ipsos. Men i praktiken en minoritet av Sifos intervjuer, inte alla Ipsos intervjuer och en tiondel av Demoskops och en 28:e del av Novus.
Konstigt va?
Men det är så här det är räknat OM man håller sig till den metod som Novus utvecklat och Ekot publicerat. Är det så att man ändrat något så bör man ta bort vår historik från Ekots hemsida. Eller förresten oavsett så är det ju en ganska stor förändring på flera plan. Delvis är Novus och Demoskop i princip inte är med alls i sammanställningen. Sen att Sifo gjort en metodförändring, Ipsos likaså är en diskussion för sig.
Men är det en vettig sammanställning för Oktober?
Annars kan man titta på Novus Svensk väljaropinion, den gör vi fortfarande trots att Ekot inte publicerar den. Den innehåller lite fler intervjuer, för vi ser till att alla intervjuer en månad är med, men Ipsos är inte med där, en undersökning som tar bort decimalerna och felmarginalerna kan vi faktiskt inte längre ha med.
https://novus.se/valjaropinionen/novus-poll-of-polls/
Uppdatering efter att jag blivit kontaktad av ansvarig för Ekot, de korrigerar med de saknade intervjuerna månaden efter, med andra ord om det saknas hela Novus intervjuer så korrigerar man de tidigare siffrorna som man redan publicerat i efterhand. Det är enligt modellen Novus tagit fram och som Ekot fick första publicering på, men som de nu kör på med utan oss. Fast frågan är då vad händer om det kommer typ lika många intervjuer för föregående månad än som man faktiskt har med… Det är ju fallet här? Jo då borde man inte publicerat alls utan väntat på att alla institut faktiskt publicerat sina undersökningar. Den lilla detaljen missade man i 6 månader…
Torbjörn Sjöström
VD
Novus