Stortingsvalget, velgerundersøkelsen, 2005

Som en del av kvalitetskontrollen av undersøkelsen sammenliknes estimater fra undersøkelsen med offisiell valgstatistikk. Vi kan blant annet sammenlikne partifrekvensen i utvalget med det offisielle valgresultatet for partiene. Slike avvik mellom svarene fra undersøkelsen og offisiell valgstatistikk kan skyldes ulike typer målefeil (innsamlingsfeil og bearbeidingsfeil), skjevhet innført ved frafall og utvalgsvarians. Av disse feilkildene er målefeil det vanskeligste å avdekke, målefeil kan komme av at intervjupersonen avgir feil svar. Det kan skyldes vansker med å huske forhold tilbake i tiden. Det kan også skyldes misforståelser av spørs­mål. Når det blir spurt om forhold som folk erfaringsmessig finner kom­pliserte, må en regne med å få en del feilaktige svar. Be­ar­bei­dingsfeil er avvik mellom den verdien som registreres inn og den verdien som til slutt rapporteres ut. Gjennom ulike kontroller har man søkt å finne feil og rette dem opp. Utvalgsmetoden som benyttes i valgundersøkelsen, roterende panel, gjør det mulig å studere og eliminere en del målefeil. Når en har rettet opp feil så langt som det er mulig, er erfaringen at de statistiske resultatene i de fleste tilfeller påvirkes forholdsvis lite av både innsamlingsfeil og bearbeidingsfeil. Virkningen av feil kan likevel være av betydning i noen tilfeller. Det gjelder særlig hvis feilen er systematisk, det vil si at den samme feilen gjøres relativt ofte. Tilfeldige feil har forventningen 0, og medfører ikke skjevhet i estimatene. En tenker seg at feil som ikke er systematiske trekker like mye i hver retning, og at de derfor har svært liten effekt.

Det er ikke alle som er trukket ut som ønsker eller har anledning til å delta. Dersom personer med bestemte kjennetegn deltar systematisk mindre enn andre, oppstår en systematisk skjevhet. Systematisk skjevheter kan være uheldige fordi de fører til nettoutvalget (de som er intervjuet) ikke er representativt for den populasjonen man er ute etter å undersøke. Av den grunn er det viktig å ha oversikt over frafallet, slik at man får kjennskap til hvor skjevt utvalget er i forhold til populasjonen. Det gjør det også mulig å korrigere utvalget for kjente skjevheter. Vi har observert fra analyser av frafallet i valgundersøkelsene at det er en korrelasjon mellom å delta i undersøkelsen og kjennemerker som kjønn, aldersgruppe og utdannelse. Videre er det en klar sammenheng mellom å delta i valget og å delta i undersøkelsen. Vi har derfor fra 2013 valgt å forsøke å rette opp noe av denne skjevheten ved å vekte for de variablene vi har tilgang til for hele populasjonen: Stemt i valget fra manntallskontoret, kjønn, aldersgruppe og utdannelse. Frafallsvekten er beregnet som enkel etterstratifisering.

Valgundersøkelsen er en utvalgsundersøkelse, Gjennom utvalgsundersøkelser kan vi anslå forekomsten av ulike fenomener i en stor gruppe (populasjonen) ved å måle forekomsten bare i et mindre utvalg som er trukket fra populasjonen. Det gir store besparelser sammenlignet med om vi skulle gjennomført målingen i hele populasjonen, men samtidig får vi en viss usikkerhet i anslagene. Denne usikkerheten kan vi beregne når vi kjenner sannsynligheten for at hver enkelt enhet i populasjonen skal bli trukket til utvalget. Metoden som brukes til å beregne et anslag (estimatet), kalles en estimator. Det er to aspekter ved en estimator som er viktige. For det første bør estimatoren gi omtrent korrekt verdi ved gjentatte forsøk. Det vil si at den ”treffer målet” i den forstand at ved gjentatt trekking av utvalg, vil gjennomsnittsverdien av estimatene være sentret rundt den sanne populasjonsverdien; estimatoren er forventningsrett . I tillegg trenger vi et mål på hvor stor variasjon rundt populasjonsverdien estimatene har ved gjentatt trekking av utvalg. Det er denne variasjonen som er den statistiske usikkerheten til estimatet, og det vanlige målet er standardfeilen, SE (fra det engelske begrepet ”standard error”), til estimatet. SE er definert som det estimerte standardavviket til estimatoren. SE forteller dermed hvor mye et anslag i gjennomsnitt vil avvike fra den sanne verdien 

Det er ikke foretatt egne beregninger eller anslag av standardavvik for Valgundersøkelsen. Imidlertid gjengir tabellen under en tilnærmet størrelse på standardavviket for observerte prosentandeler ved ulike utvalgsstørrelser ved et sikkerhetsnivå på 95 prosent. Av tabellen går det frem at usikkerheten blir mindre når antall observasjoner
øker, og at usikkerheten øker etter hvert som resultatet nærmer seg 50 prosent. Ved hjelp av standardavviket er det mulig å beregne et intervall som med en bestemt sannsynlighet innehar den sanne verdi av en beregnet størrelse (den verdien vi ville fått dersom vi hadde foretatt en totaltelling i stedet for en utvalgsundersøkelse). Slike intervaller kalles konfidensintervaller hvis de er konstruert på en bestemt måte: la M være den beregnede størrelsen og S være et anslag for standardavviket til M. Vi må selv bestemme oss for sikkerhetsnivået, men det er vanlig å konstruere konfidensintervaller som med tilnærmet 95 prosent sannsynlighet inneholder den sanne verdien for M. Konfidensintervallet er da gitt ved at vi legger 2 standardavvik til M for å få intervallet øvre grenseverdi, mens vi trekker 2 standardavvik fra M for å få nedre grenseverdi. Grensene for konfidensintervallet er derved gitt ved (M – 2*S) og (M + 2*S). Dette intervallet vil med 95 prosent sannsynlighet inneholder den sanne verdien for M i populasjonen. Tabellen under viser størrelsen på standardavviket for noen utvalgte prosentandeler og utvalgsstørrelser.

Standardfeil i prosentpoeng for observerte prosentandeler ved ulike utvalgsstørrelser, for enkelt tilfeldig utvalg.

Følgende eksempel illustrer hvordan en kan bruke tabellen over for å beregne konfidensintervall. Anta at i en utvalgsundersøkelse med 1 000 respondenter, oppgir 20 prosent at de ville stemt på Fremskrittspartiet i morgen. I tabellen finner vi at standardavviket er 1,3 for et resultat på 20 prosent med 1 000 observasjoner. Konfidensintervallet for den sanne verdien får grensene 20 +- (2*1,3). Intervallet strekker seg da fra 17,4 til 22,6. Det betyr at vi med 95 prosents sannsynlighet kan slutte at andelen som vil stemme på Fremskrittspartiet i morgen, ligger mellom 17,4 og 22,6 prosent. Det er vanlig å operere med et sikkerhetsnivå på 95 prosent, men konfidensintervall kan konstrueres for andre sikkerhetsnivå. Da må standardavviket multipliseres med et annet tall enn 2. Ofte er det ønskelig å sammenligne prosenttall for flere grupper. Når to usikre tall sammenlignes, vil usikkerheten på forskjellen mellom dem vanligvis bli større enn usikkerheten knyttet til hvert enkelt tall. Standardavviket til forskjeller mellom to prosenttall er lik kvadratroten av summen av kvadratene av standardavvikene til enkelttallene. Når en har anslag for standardavvikene til slike forskjeller, kan en konstruere konfidensintervall for den sanne verdi på samme måte som beskrevet ovenfor. 

Ikke relevant