Norsk mediebarometer, 2020

Statistisk usikkerhet og feilmarginer ved utvalgsundersøkelser

Utvalgsvarians er den usikkerhet vi får i resultatene fordi vi bare bygger på opplysninger om en del av befolkningen som undersøkelsen dekker. Standardavviket er et mål på denne usikkerheten. Størrelsen på standardavviket avhenger blant annet av tallet på observasjoner i utvalget, og av fordelingen til de ulike undergruppene i utvalget som omfattes av undersøkelsen. Vi kan anslå standardavviket ved hjelp av observasjonene i utvalget.

Statistisk sentralbyrå har ikke foretatt spesielle beregninger av slike anslag for tallene i denne publikasjonen, men i tabellen på denne siden har vi antydet størrelsen av standardavviket for observerte prosentandeler ved ulike utvalgsstørrelser.

For å illustrere usikkerheten kan vi bruke et intervall som angir nivået på den sanne verdi av en beregnet størrelse (den verdien vi ville ha fått om vi hadde foretatt en totaltelling i stedet for en utvalgsundersøkelse). Slike intervaller kalles konfidensintervaller dersom de er konstruert på en spesiell måte.

I denne sammenheng kan vi bruke følgende metode: La M være den beregnede størrelse og la S være et anslag for standardavviket til M. Konfidensintervallet blir da intervallet med grenser (M÷2S) og (M+2S). Denne metoden vil med omtrent 95 prosent sannsynlighet gi et intervall som inneholder den sanne verdi.

Følgende eksempel illustrerer hvordan en kan bruke tabellen til å finne konfidensintervaller: Anslaget på standardavviket til en observert prosentandel på 70 blant 2 000 observasjoner er 1,0. Konfidensintervallet for den sanne verdi får grensen 70 ± 2 x 1,0, dvs. det strekker seg fra 72 til 68 prosent.

Når antallet observasjoner for en gruppe er mindre enn 25, foretas det ikke prosentberegninger i rapporten.

I praksis vil en ikke nøye seg med å betrakte en og en prosentandel fra en eller flere undersøkelser særskilt, men sammenlikne prosentandeler for forskjellige grupper. Da er det nødvendig å være oppmerksom på at to andeler som sammenliknes, begge er usikre, og at usikkerheten på forskjellen mellom dem vanligvis blir større enn usikkerheten knyttet til hver andel.

Standardfeil i prosentpoeng for observerte prosentandeler ved ulike utvalgsstørrelser. Prosent

Innsamlings- og bearbeidingsfeil

I enhver undersøkelse, både i totaltellinger og utvalgsundersøkelser, vil det forekomme svar som er feil. Feilene kan oppstå både i forbindelse med innsamlingen og under bearbeidingen. De statistiske resultatene fra undersøkelsene våre påvirkes i de fleste tilfeller i forholdsvis liten grad av feil. Virkningen av feil kan i noen tilfeller være av betydning, særlig ved systematiske feil (det vil si at samme feilen gjøres relativt ofte).

Innsamlingsfeil kan oppstå på mange måter. De kan skyldes vansker med å huske forhold tilbake i tiden, og de kan også skyldes misforståelser av spørsmål. Når vi spør om temaer som folk erfaringsmessig finner kompliserte, må vi regne med å få noen feilaktige svar. Innsamlingsfeil kan også oppstå fordi visse spørsmål av enkelte oppfattes som ømtålige. De som svarer, kan i slike tilfeller bevisst gi feilaktige svar, eller de vurderinger som ligger til grunn for svaret, blir påvirket av hva de oppfatter som sosialt akseptert. Feil under innsamlingen kan også oppstå ved at intervjueren krysser av for svaret sitt i feil rubrikk eller skriver ufullstendige opplysninger i skjemaet.

Bearbeidingsfeil er feil koding av for eksempel inntekt og yrke, feil i avledninger (omkodinger) eller feil som oppstår når opplysningene fra spørsmål i spørreskjemaet bearbeides og lages om til tabeller. Gjennom manuell skjemarevisjon og maskinelle kontroller har vi søkt å finne feil og rette opp disse.

Frafall og skjevhet

Svarprosenten i mediebruksundersøkelsene har i de seinere åra ligget mellom 55 og 65 prosent. Dersom frafallet ikke er like stort i alle grupper vil det skape et skjevt utvalg som ikke lenger fullt ut er representativt for den befolkningen som undersøkes. Hvor skjevt et utvalg er vil variere med hvilken variabel en ser på. For nærmere opplysninger om skjevhet på grunn av frafall i de ulike undersøkelsene se publikasjonene for de enkelte undersøkelsene.

Undersøkelsene dekker de fire månedene mars, juni, september og desember og alle dager i uka. For å korrigere for at frafallet i disse periodene kan skape et skjevt utvalg, er tallene i tabellene vektet, slik at alle periodene teller like mye. I de åra da undersøkelsen omfatter både kulturbruk og mediebruk, er det brukt et doblet utvalg av barn fra 9-15 år. I tabellene er denne aldersgruppen vektet ned til å ha halv verdi, slik at utvalget blir i overensstemmelse med den reelle befolkningen.

Ikke relevant