Samfunnsspeilet, 2005/2

Bokanmeldelse: Vårt minste problem

Publisert:

Mange lurer på hvordan vi i Statistisk sentralbyrå kan gi noe som helst tilnærmet riktig statistikk over ulike sider ved det norske samfunn når vi bare spør et lite utvalg av alle som bor i Norge. Vi som svarer på denne type henvendelser pleier å si at det er det minste problemet vi har. Det finnes en rekke steder i prosessen med å lage statistikk hvor feil og mangler kan oppstå som kan gi feil i sluttresultatene.

Forfatter: Øyvin Kleven

Robert M. Groves, Floyd J. Fowler Jr., Mick P. Couper, James M. Lepkowski, Elanor Singer og Roger Tourangeau: Survey Methodology . Wiley Series In Survey Methodology. New York 2004. 448 s.

Fra USA kom det i fjor en bok med tittelen Survey Methodology. I USA er surveymetode regnet som et eget fag hvor flere universiteter tilbyr Master- og Ph.D.- programmer, i motsetning til i Norge hvor det regnes inn under samfunnsvitenskapene og matematikk. I USA har noen av de beste universitetene og føderale statistikkontorer gått sammen i "the Joint Program in Survey Methodology (JPSM)". Forfatterne bak boken Survey Methodology underviser i programmet, og må sies å være blant de internasjonale tungvektere i faget. Forfatternes programforpliktelse er å gi leserne de beste praksiser per dags dato innenfor Survey Methodology. De ønsker også å bidra til å bygge flere broer mellom miljøene som arbeider med statistikk. De har lykkes ganske godt, og skal du lese en bok for å få en innføring eller bli oppdatert, kan du like godt lese denne.

Boken til Groves mfl. (se boks) beskriver og anbefaler prinsipper oppdaget i metodeforskningen over de siste årene, som bør benyttes hvis en skal fremskaffe statistikk av høy kvalitet. Forfatterne åpner på side 1 med følgende teser: " You are about to be exposed to a system of principles called " survey methodology " for collecting information about the social and economic world ". I survey metodologi er en opptatt av å identifisere prinsipper om design, innsamling, bearbeiding og analyse av data hentet inn i intervjuundersøkelser, og hvordan dette gir ulike kostnader og kvalitet i statistikken. Boken kan leses både som en beskrivelse av hvor denne grenen av metodeforskningen står per dags dato, og som en oppfordring til å se ut over den snevre utvalgsvariansen som den eneste feilkilden i utvalgsundersøkelser. Tidligere var kunnskapen om hvordan feilene oppstod, hvordan de kunne begrenses og til hvilken kostnad i stor grad spredt på flere fagmiljøer. I de siste årene har det blitt et økt fokus på å skape et mer enhetlig internasjonalt fagmiljø som ser dette i sammenheng.

Fra fokus på "vårt minste problem" til fokus på "hele problemet

Boken er delt inn i tolv kapitler og tar for seg surveyprosessen ut fra "Total survey error"-paradigmet. Kort oppsummert mener forfatterne at en må sette seg inn i stegene i en undersøkelse og være opptatt av hvor feilkilder kan oppstå når en planlegger. Det gjelder å lage en plan som minimerer feilene mellom to steg ved å velge de til enhver tid beste metodene. Boken er derfor mer detaljert på selve datainnsamlingsprosedyrene enn de generelle metodebøkene i samfunnsvitenskap. Den er delt inn i følgende kapitler:

1. Hva er survey metodologi? (An Introduction to Survey Methodology),

2. Slutninger og feilslutninger i intervjuundersøkelser (Inference and error in surveys),

3. Målpopulasjoner, utvalgsplan og dekningsfeil (Target populations, sampling frames, and coverage error),

4. Utvalgsdesign og utvalgsfeil (Sampling design and sampling error),

5. Metoder i datafangst (Methods of data collection),

6. Frafall i intervjuundersøkelser (Non-response in sample surveys),

7. Spørsmål og svar i intervjuundersøkelser (Questions and answers in surveys),

8. Evaluering av spørsmål i intervjuundersøkelser (Evaluating survey questions),

9. Intervjuing (Survey interviewing)

10. Etterbehandling av data (Post-collecting processing of survey data),

11. Prinsipper og praksiser knyttet til vitenskapelig integritet (Principles and practices related to scientific integrity)

12. Ofte stilte spørsmål om surveymetoder (FAQ’s about Survey Methodology).

Boken forutsetter en viss trening i tolkning og lesing av statistiske formler, regresjonskoeffisienter og logistisk regresjon. Men også de som ikke er så fortrolig med det matematiske språket kan finne råd og tips. Dette er den første boken jeg har sett som klarer å samle så mye av det vesentligste innenfor 400 sider. Det er klart at feltet på langt nær blir uttømt i løpet av disse sidene. Skal en virkelig sette seg inn i dette må en ha langt mer. Men boken har klart noe å tilby de fleste. Både spesialister som trenger å holde seg informert om hva som regnes som "state of the art" på det generelle plan, og de som trenger en rask innføring i faget.

En av de viktigste og mest sårbare feil i en intervjuundersøkelse er spørsmålsformuleringen. Dette omhandles i kapittel 7, og delvis i kapittel 8. Her kunne jeg tenkt meg litt mer utfyllende om hvordan en kan skrive gode spørsmål. Delen som handler om hvordan skrive gode spørsmål er kun på ti sider, her kunne jeg tenkt meg flere eksempler. Gode fremstillinger av vektingsprosedyrer er ofte mangelvare i metodebøker. Her vil jeg trekke frem kapittel 11 i denne boken, hvor jeg synes forfatterne har fått til å forklare dette på en lettfattelig måte.

Utarbeidelsen av statistikk og potensielle feilkilder

Det er gjerne flere feil i en statistikk enn du får oppgitt

Når statistikk fremstilles, er det gjerne den feilen som oppstår fordi vi undersøker ett utvalg og ikke hele befolkningen vi er opptatt av. Vi ser sjelden henvisninger til andre feilkilder enn den rene utvalgsvariansen med mindre en skaffer seg dokumentasjonen av undersøkelsen. I forbindelse med partimålinger i dagspressen får vi gjerne opplyst at resultatene må tolkes innenfor feilmarginer på 2-3 prosentpoeng. Da er det kun det faktum at det er intervjuet, et utvalg, og ikke hele befolkningen det tas hensyn til. Alle andre feil ser en da bort ifra (eller en forutsetter at de er perfekt usystematiske og dermed jevner hverandre ut). En ender altså opp med å beskrive "det minste problemet vi har" og feier andre feilkilder under teppet.

Figur 1 (Groves mfl. 2004:48) gir en god illustrasjon av hvilke feilkilder som kan foreligge når statistikk samles inn og fremstilles. De firkantede "boksene" representerer stegene i en utvalgsundersøkelse, mens de ovale "boksene" representerer feilene som oppstår mellom to steg. Figuren uttrykker at før vi kan gi statistikk over noe, beveger vi oss langs to "løyper". En har med representasjon å gjøre, den andre dreier seg om å spesifisere måleinstrumentet. Representasjonsløypa dreier seg om at vi trekker et utvalg og ikke intervjuer hele befolkningen, eller at vi mister noen på veien vi burde ha hatt med. I den andre "løypa" bestemmes det hvor presist måleinstrumentet er. Dette innebærer at det også i totaltellinger kan være betydelige feil, selv om en ikke baserer resultatene på et utvalg av befolkningen.

øyvin Kleven er rådgiver ved Seksjon for datafangstmetoder, Statistisk sentralbyrå ( oyvin.kleven@ssb.no ).

Kontakt