Blir du sykere hvis du får tenkt deg om? - på leting etter metodeeffekter i en undersøkelse om levekår

Undersøkelser blir ofte gjennomført med et representativt utvalg av befolkningen. De kan enten gjøres ved å sende folk et spørreskjema eller ved å intervjue dem. Når vi skal gjennomføre en intervjuundersøkelse må vi enten stille spørsmålene over telefon eller ved besøk. Her vil vi se om måten vi spør på, påvirker svarene folk gir.

Vårt case: Levekårsundersøkelsen 1998

To ulike intervju: et kort og et langt

Statistisk sentralbyrå gjennomfører jevnlige undersøkelser for å gi et bilde av folks levekår. I 1998 ble det gjennomført en levekårsundersøkelse med fokus på helse. Noen intervjuer ble gjennomført som besøksintervju og andre via telefon. Det ble trukket ut 5 000 personer til et intervju som skulle vare opp mot en time, og like mange til et timinutters intervju. Det korte intervjuet ble gjennomført for å øke utvalgsstørrelsen på undersøkelsen for enkelte spørsmål. Dermed fikk en et stort nok utvalg til å få viten om folk med sykdommer som ikke forekommer så ofte.

To ulike intervjuerkorps; sentralt og lokalt korps

Det var to ulike intervjuerkorps som deltok i arbeidet med å gjennomføre undersøkelsen. Den største delen av arbeidet ble gjennomført av Statistisk sentralbyrås lokale intervjuerkorps som består av om lag 130 intervjuere som er spredt ut over landet (lokalt korps). De gjennomførte alle de lange intervjuene, og flesteparten av de korte. Et telefonkorps som var plassert i Statistisk sentralbyrås lokaler i Oslo (sentralt korps) gjennomførte en tredel av de korte intervjuene.

To ulike intervjumetoder; besøks- og telefonintervju

De korte intervjuene ble gjennomført som telefonintervjuer, mens de lange intervjuene i utgangspunktet skulle gjennomføres ved besøk. Likevel ble 29 prosent av dem tatt over telefon. I de fleste tilfeller ble det gjort fordi vi manglet intervjuere i enkelte utvalgsområder, fordi noen intervjuere hadde kapasitetsproblemer eller ikke klarte å treffe respondentene hjemme. Av og til ble respondenter som var lite villige til å delta, tatt over av særlig dyktige intervjuere. Følgelig er det ikke helt tilfeldig om en blir intervjuet på telefon eller ved besøk.

Mangelen på tilfeldighet (randomisering) er problematisk hvis det gjør grupper ulike i forhold til temaet for undersøkelsen. Det vil de bli hvis for eksempel de som ble intervjuet over telefon er sykere enn dem som blir besøkt. At vi ikke har en intervjuer i et område, eller at intervjueren har kapasitetsproblemer, kan føre til at et intervju blir tatt over telefon i stedet for ved besøk. Dette har trolig lite å si for hva respondentene svarer på spørsmålene. At intervjueren ikke får tak i respondenten ved besøk eller at respondenten vegrer seg for å la seg intervjue, er egenskaper ved respondenten som det kan tenkes at vil påvirke hvordan han svarer. Det kan følgelig skape en forskjell mellom grupper som ikke er tilfeldig. Hvis denne forskjellen er betydelig, gjør det at vi ikke kan være sikre på skillet vi kommer til å presentere mellom besøks- og telefonintervju blant dem som deltok i det lange intervjuet, faktisk eksisterer. Det samme problemet gjelder ikke for skillet mellom resultatene fra de ulike intervjuerkorpsene som var i arbeid eller for skillet mellom det lange og det korte intervjuet.

Vi vil bruke denne undersøkelsen til å studere om svarene som blir gitt er stabile til tross for at det er brukt ulike metoder for innsamling av data. Se Statistisk sentralbyrås Notater 99/40 for en mer omfattende beskrivelse av undersøkelsen (Roll-Hansen 1999).

Hva kan påvirke svarene folk gir?

I undersøkelsen vi skal se nærmere på, er noen intervjuer tatt over telefon mens andre er gjennomført ved besøk. Det er likevel ikke den eneste forskjellen mellom intervjuene. Måten spørsmål blir stilt og svar blir avgitt på, vil også påvirkes av andre forhold. Ved begge former for innsamling er det gjort tilpasninger i intervjuet for at det skal fungere best mulig. For å fange opp effekten av slike tilpasninger kan det være en fordel å gjennomføre studier i forbindelse med en virkelig spørreundersøkelse. Det står i motsetning til å gjennomføre kontrollerte eksperimenter hvor en ikke gjør de tilpasninger i intervjuet som ville bli gjort, hvis en faktisk skulle gjennomføre en undersøkelse.

Ved å sammenligne svar folk har gitt i virkelige undersøkelser, vil forskjellene vi finner ikke bare kunne tilskrives mediet spørsmålet blir stilt gjennom, men også andre tilpasninger og feil som gjøres i forbindelse med ulike metoder. Det vil likevel være vanskelig å slå fast hva som skaper en eventuell forskjell (Kalfs og Sairs 1998). Nedenfor omtales noen forskjeller mellom de to innsamlingsmetodene som kan virke inn på svarene folk gir. Vi vet likevel ikke om dette er de viktigste momentene eller om det finnes andre forhold som det hadde vært mer hensiktsmessig å fokusere på.

Tid til å svare

En vanlig kritikk av telefon som medium for intervju, er at det går for fort til at folk får tid til å tenke seg om. Svarene som gis blir mindre overveide enn de blir ved besøksintervju. Det gjelder først og fremst spørsmål som stiller store krav til deltakelse fra respondentene. Følgelig blir det sett på som mer hensiktsmessig å stille denne typen spørsmål ved besøksintervju enn over telefon. Det kan for eksempel gjelde spørsmålene som stiller krav til kunnskap eller hukommelse (Haraldsen 1999). Noen spørsmål fra undersøkelser som er gjennomført som besøksintervju, egner seg ikke i telefonundersøkelser. Dårlig tid til å svare kan føre til at respondentene glemmer sykdommer og oppgir færre sykdommer enn de ellers ville ha gjort. Hvis respondenter som blir intervjuet ved besøk har bedre tid til å tenke seg om, er det grunn til å regne med at de husker og rapporterer flere sykdommer enn de som blir intervjuet over telefon. Det vil likevel være mulig å gjøre tilpasninger i spørsmålet, for å få det til å fungere mer likt på begge måter. Effekten av ulik intervjumetode og tilpasninger i spørsmålene er vanskelig å forutsi.

Besøksintervjuet har muligheter som ikke finnes ved et telefonintervju. Først og fremst åpner det for at en kan vise fram lister hvor svaralternativer er ført opp. Slike lister kan fungere som en støtte for tanken og bidrar til å skape mer ro over intervjusituasjonen. Det fører til at respondenten får mer tid til å tenke seg om før han svarer.

Sensitive spørsmål

Spørsmål om levekår - og kanskje særlig spørsmål om helse - vil ofte bli sett på som sensitive. Det er derfor grunn til å tro at de vil kunne bli påvirket av måten respondenten blir kontaktet på. Telefonintervjueren vil ofte framtre som mer anonym enn en besøksintervjuer. Det kan føre til at det blir lettere å svare ærlig på telefon. Samtidig er det vanskelig for en telefonintervjuer å legitimere seg, noe som kan gjøre at respondenten tviler på at det faktisk er en intervjuer som ringer. Vi prøver å redusere dette problemet ved å sende respondentene brev om at de kommer til å bli oppringt og ved å gi dem en mulighet til å ringe til Statistisk sentralbyrå for å få bekreftet intervjuerens identitet.

Et langt intervju vil kunne oppfattes som annerledes enn et kort intervju. En tenker seg at respondenten kan bli sliten mot slutten av et langt intervju og derfor gir svar som er lite overveide. Et langt intervju kan derimot også virke mer seriøst enn et kort, og det kan derfor være større grunn til å ta det alvorlig.

Sosiale rammer

Noen telefonintervjuere opererer fra lokaler hvor flere sitter sammen. De er del av et sosialt fellesskap med andre intervjuere. Det gir dem en mulighet til å snakke sammen, noe som blant annet kan gi dem mulighet til å få utløp for frustrasjon over måten de blir møtt på når de kontakter respondenter. Det lokale korpset har ikke denne muligheten. Denne forskjellen kan påvirke svarene som registreres.

Måten vi forholder oss til omverdenen på, vil påvirkes av hvordan omverdenen til enhver tid ser ut. Det sosiale miljøet vi forholder oss til, vil påvirke hvordan vi forstår egen virkelighet og hvordan vi framstiller den for andre. (Sudman og Bradburn 1982). Frykt for å tape ansikt påvirker måten vi spiller vår rolle ute blant folk. Ofte tenker en seg at mennesker ønsker å framstå på en måte som stemmer over ens med allment aksepterte normer for skikk og bruk. Et eksempel på dette er tidligere presentert i Samfunnsspeilet, der Olaussen (1998) har funnet at intervjuerens kjønn kan påvirke om folk forteller om frykt for vold.

Rapportering av sykdom i fire nesten like intervjuer

Forskjellen i antall sykdommer som ble rapportert ved ulike former for intervju, synes ved første øyekast å være relativt liten. Det lange intervjuet skulle gjøres ved besøk. De som svarte på det rapporterte i gjennomsnitt at de hadde 1,37 sykdommer og funksjonshemninger. Det korte intervjuet ble gjort via telefon. Der rapporterte folk i snitt at de hadde 1,32 sykdommer og funksjonshemninger. Forskjellen mellom de to gruppene er liten, og kan i utgangspunktet tilskrives tilfeldigheter. Når en studerer tallene nærmere viser de likevel et bilde som ikke er så klart. Bak den tilsynelatende likheten skjuler det seg to fraksjoner i hver av de to gruppene; en som rapporterer få og en som rapporterer mange sykdommer. Nå skal vi se nærmere på hva det kan komme av.1

Tabell 1 viser at respondenter som tar del i besøksintervju eller blir intervjuet av det sentrale intervjuerkorpset, rapporterer betydelig flere sykdommer enn dem som blir intervjuet av det lokale intervjuerkorpset.2 Når lokale intervjuere bruker telefonen, finner de få sykdommer uavhengig av om de gjennomfører et kort eller et langt intervju.

Besøksintervju tar lengre tid enn telefonintervju. En kan tenke seg at respondenten får mer ro over intervjusituasjonen og følgelig rapporterer flere sykdommer. Det kan forklare hvorfor det blir rapportert relativt mange sykdommer ved besøksintervju.

Det er verre å forklare hvorfor det sentrale intervjuerkorpset avdekket så mange flere sykdommer enn lokale intervjuere som intervjuer over telefon. For å kunne si mer om det, må vi se nærmere på hva som har skjedd i forkant av og under intervjuene.

Respondenter som deltok i det korte intervjuet fikk tilsendt en liste med sykdommer i posten, sammen med et informasjonsbrev om undersøkelsen. Respondentene ble bedt om å holde lista tilgjengelig til etter intervjuet var gjennomført. De som deltok i det lange intervjuet fikk ikke mulighet til å se lista før intervjuet. I det korte intervjuet ble intervjuerne bedt om å lese opp lista med sykdommer, hvis respondenten ikke hadde den tilgjengelig når han ringte. En kan tenke seg at denne praksisen gjør at respondenter som får tilsendt lista på forhånd har tid til å forberede seg og dermed vil være i stand til å rapportere flere sykdommer. Et problem med denne forklaringen er at det sentrale korpset registrerte betydelig flere sykdommer enn det lokale, selv om alle respondenter i det korte intervjuet fikk liste tilsendt på forhånd – også respondenter som skulle intervjues av det lokale intervjuerkorpset. Forklaringen ville følgelig bare egne seg for respondenter som det senere ble klart at skulle intervjues av det sentrale korpset. Vi leter derfor videre etter andre forklaringer.

Alle i det sentrale intervjuerkorpset satt i samme rom, bare skjermet av en skillevegg. Intervjuerne hørte hva sidemannen sa, om han ville det eller ikke. Ved det sentrale telefonkorpset var det relativt vanlig å lese opp lista. Det ville ha blitt lagt merke til om noen aldri leste opp lista. Det ga en viss kontroll på at den ble lest opp når det var nødvendig, eller i hvertfall at den ble lest opp av og til. Telefonintervjuer som ble gjennomført av det lokale korpset, avdekket ikke like mange sykdommer som det sentrale korpset. Det kan tyde på at de sjeldnere leste opp lista. Uansett kan dette bare være en delforklaring. Det forklarer ikke hvorfor de sentrale intervjuerne avdekket flere sykdommer enn lokale intervjuere som intervjuet over telefon, allerede før det var aktuelt å lese opp lista. Forskjellene mellom svarene som de ulike gruppene av intervjuere fikk, eksisterte allerede ved det første spørsmålet om sykdom eller skader der det ikke var aktuelt å lese opp lista.

Forskjellen før det er aktuelt å lese opp lista kan skyldes at de sentrale har vist større engasjement i å få folk til å rapportere om sykdommene de har. Engasjementet kan ha vært større i det sentrale korpset fordi alle som arbeidet der nylig hadde tatt del i felles opplæring. I tillegg til at de hadde det de lærte på kurs friskt i minne, hadde de også utviklet en viss gruppefølelse. Videre var det sentrale korpset hovedsakelig rekruttert blant hovedfagsstudenter i sosiologi og statsvitenskap. Mange nyutdannede sosiologer og statsvitere starter sin karriere i Statistisk sentralbyrå. Deler av annonseringen av intervjuerjobbene spilte også på dette. Det er derfor rimelig å tro at studentene har sett det å gjøre en god jobb som intervjuer som et fortrinn ved en eventuell søknad om annet arbeid i Statistisk sentralbyrå.

Kan det også tenkes at intervjuerne oppfattes som mer anonyme når de ringer fra et sentralt intervjuerkorps? Vi vil komme tilbake til det avslutningsvis.

Det kan være fristende å si at den metoden som avdekker flest sykdommer, er den beste. Det vil likevel bare gjelde i den grad respondentene ikke overrapporterer sykdomstilfeller, enten bevisst eller gjennom i større grad å inkludere bagatellmessige helseplager.

Bør vi gi folk mer tid til å besvare spørsmål på telefon?

Ovenfor har vi sett at det kan virke som om folk husker mer hvis de får mer tid til å tenke seg om. Det lokale intervjuerkorpset fikk vite om flere sykdommer når de var på besøk enn når de ringte. Kan det tenkes at slike problemer kan løses ved å omarbeide spørsmålene slik at respondentene får mer tid til å svare på telefon? I et spørsmål vi skal se på er det gjort ved at respondenten under besøksintervjuet ble forelagt en liste over sykdommene, mens han i telefonintervjuet fikk lest opp plagene fra lista.

Spørsmålet dreier seg om eventuelle plager en har hatt de siste tre månedene. I de korte intervjuene som ble tatt over telefon, ble svaralternativene lest opp for respondenten, mens et kort som viser alternativene ble vist respondenten ved besøksintervju.

Fra besøksintervjuet:

Har du vært plaget av noe av det som står på denne listen i løpet av de siste tre måneder?

Fra det korte telefonintervjuet:

Jeg skal nå lese opp en del plager en kan ha. Si fra underveis hvis du har hatt en slik plage i løpet av de tre siste månedene.

Omarbeidingen hadde til hensikt å ta høyde for ulempen det er at en ikke har anledning til å forelegge respondentene en oversikt over mulige plager. Omarbeidingen førte for de fleste plagenes vedkommende til at de ble rapportert hyppigere. Det skyldes trolig at plagene framtrer klarere for respondenten når de blir lest opp enn når han selv må lese dem opp. Han får litt tid til hver av dem. Opplesningen tvinger han til å ta stilling til hvert enkelt alternativ, i større grad enn hvis han selv leser et kort de står skrevet på.

Vi har sammenlignet sannsynligheten for at en respondent som har hatt besøk av en intervjuer skal rapportere om en gitt helseplage, med sannsynligheten for at en som har blitt intervjuet med et omarbeidet spørsmål over telefon skal rapportere om plagen.

Tabell 2 viser en noe høyere forekomst av rapporterte plager ved telefonintervju der svaralternativene blir lest opp, enn ved bruk av lister i besøksintervju. Flest plager blir identifisert av det sentrale intervjuerkorpset. Færre plager blir identifisert ved besøksintervju. De fleste forskjellene er likevel relativt små og kan godt skyldes tilfeldigheter3 Mange av resultatene trekker likevel i samme retning, og de gir derfor en indikasjon på at respondentene oppgir flere plager når de blir lest opp for dem, enn når en liste viser de aktuelle plagene.

Om intervjuet er gjennomført over telefon eller ved besøk, har statistisk signifikant effekt på fire av plagene. De gjelder alle forhold som kan være uheldig for den sosiale sammenhengen som intervjuet inngår i. Hvis respondenten for eksempel rapporterer at han er aggressiv, kan det virke truende på intervjueren, og hvis han sier at han er plaget av tett nese, rennende øyne eller hoste, kan det være et tegn på at han er smittefarlig. Spørsmålenes effekt på den sosiale relasjonen mellom respondent og intervjuer må følgelig vurderes i valg av hvordan intervjuene skal gjennomføres.

Alle spørsmålene som er vist i tabell 2 er sensitive, men svarene påvirkes i de fleste tilfeller relativt lite av om spørsmålet stilles på telefon eller ved besøk. Det avgjørende for om metoden påvirker svarene som gis, synes ikke å være om respondenten utleverer seg selv, men heller om spørsmålet kan skape en pinlig situasjon.

I forrige avsnitt argumenterte vi for at det å ha god tid i et intervju kan føre til høyere rapportering. I spørsmålene som er behandlet ovenfor fører ikke besøk til høyere rapportering. Det kan enten skyldes at vi har lagt inn mer tid gjennom omformulering av spørsmålet, eller at respondentene ikke trenger så mye tid til å svare på dem.

Hvor vil du helst svare?

Så langt har vi ikke sett på om det er lettest for folk å svare på sensitive spørsmål på telefon eller ved besøk. Nå beveger vi oss til spørsmål hvor oppgavebyrde og krav til hukommelse har relativt lite å si: De er relativt korte og de fleste trenger trolig ikke så mye tid til å ta stilling til dem. Spørsmålene ble stilt på samme måte i alle intervjuene. Eventuelle forskjeller i svarene folk gir vil derfor trolig kunne forklares med forskjeller i hvor bekvem respondenten føler seg i intervjusituasjonen.

Tabell 3 viser at det er enkelte variasjoner i svarene, avhengig av hvordan intervjuene er gjennomført. Hvilken av framgangsmåtene som viser hyppigst forekomst av et fenomen, varierer fra spørsmål til spørsmål. Det er derfor vanskelig å si noe generelt om hvilken metode som gir høyest rapportering. Vi kan derfor ikke slutte noe om ulikheter i hvordan folk svarer på sensitive spørsmål ved besøk eller over telefon ut fra dette.

Og hva så?

Metoden for datainnsamling som brukes vil påvirke svar på noen spørsmål, men ikke for andre. I analyse av intervjuereffekter må en studere virkeligheten som skaper tallene. Det har vært en tendens til at en overser lokale forskjeller, tilpasninger og feil i analysene. Ofte har en vært for opptatt av å finne generelle regler, heller enn å se på hva som skaper et svar i den enkelte undersøkelsen.

Folk trenger tid til å svare på kompliserte spørsmål. De rapporterer om flere sykdommer i besøksintervju enn ved intervju over telefon. Det er likevel et åpent spørsmål om metoden som viser høyest frekvens av rapporterte helseplager er særlig godt egnet til å avdekke alvorlige tilfeller, eller om den inviterer til å rapportere om bagatellmessige forhold. Trolig vil begge deler være tilfelle.

Vi har ikke funnet argumenter for at sensitive spørsmål egner seg best for en av intervjumetodene. Funnene våre tyder på at sensitivitet ikke er et like sentralt begrep som om spørsmålene vi stiller kan virke pinlige i sammenhengen de inngår i.

Tidligere har vi stilt spørsmål ved om intervjuerne oppfattes som mer anonyme når de ringer fra et sentralt intervjuerkorps. Det var en mulig forklaring på den høye rapporteringen av sykdommer og funksjonshemninger til det sentrale intervjuerkorpset. Analyser av svar på andre spørsmål tyder likevel ikke på dette. Forskjellene i rapporterte sykdommer bør trolig heller forklares ut fra de aktuelle spørsmålene, for eksempel ved systematiske forskjeller i hvordan spørsmålene blir stilt fra ulike korps. Vi har antydet at motivasjonen til intervjuerne kan ha betydelig innvirkning på svarene respondenten gir.

For å kunne gjennomføre ulike undersøkelser på en best mulig måte, er det hensiktsmessig å ha et bredt spekter av metoder til disposisjon. Metodens betydningen for spørsmålene som stilles blir særlig aktuell i forbindelse med nye teknikker for innsamling av data. Introduksjon av nye metoder åpner for nye feil i form av metodeefekter. Vi må søke å finne årsaker til og lære oss å kontrollere disse feilkildene.

1. Alder og kjønn har ofte sammenheng både med en forklaring (uavhengige variabler) og med det som skal forklares (avhengig variabel). Det er også tilfelle her. I analysene har vi tatt hensyn til innvirkningen av alder og kjønn både for intervjuer og respondent. Effekten av alder og kjønn er med and-re ord kontrollert bort. I tolkningen av resultatene kan vi derfor se bort fra innvirkningen av alder og kjønn.

2. Vi kan si at sammenhengene eksisterer med en sannsynlighet for å ta feil på mindre enn 0,0001, under de gitte forutsetningene.

3. De fleste sammenhengene er ikke statistisk signifikante på 0,05-nivå.

Litteratur

Haraldsen, Gustav (1999): Spørreskjemametodikk etter kokebokmetoden, ad Notam, Gyldendal, Oslo.

Kalfs, Nelly og Willem Sairs (1998): "Large Differences in Time Use for Three Data Collection Systems", Social Indicators Research nr 44, Kluwer Academic Publishers, Dordrecht, Nederland.

Olaussen, Leif Petter (1998): "Kan menn si til kvinner at de er redde?", Samfunnsspeilet 2, 1998, Statistisk sentralbyrå.

Roll-Hansen, Dag (1999): Samordnet levekårsundersøkelse 1998 - tverrsnittsundersøkelsen. Dokumentasjonsrapport, Notater 1999/40, Statistisk sentralbyrå.

Sudman, Seymour og Norman M. Bradburn (1982): Asking Questions - A practical Guide to Questionnaire Design, Jossey-Bass Publishers, San Francisco.

Dag Roll-Hansen er sosiolog og ansatt som førstekonsulent i Statistisk sentralbyrå, Seksjon for statistiske metoder og standarder (dag.roll-hansen@ssb.no).

Tabeller:

• Tabell 1 Antall rapporterte sykdommer og funksjonshemninger identifisert ved ulike former for intervju.1 Lineær regresjon (N = 7 117)"
• Tabell 2 Sannsynligheter for å rapportere om ulike helseplager, betinget av om intervjuet er gjennomført via telefon eller ved besøk, og av sentralt eller lokalt korps. Prosent. Logistisk regresjon (N = 4 012)"
• Tabell 3 Sannsynligheter for å rapportere ulike mulige sensitive forhold, betinget av om intervjuet er gjennomført via telefon eller ved besøk, og av lokale intervjuere eller av et sentralt telefonkorps. Prosent. Logistisk regresjon