Kunsten å lage et spørreskjema

---

I forrige nummer av Samfunnsspeilet ble Gustav Haraldsen, SSB-ansatt og forfatter av boken Spørreskjemametodikk etter kokebokmetoden, portrettert. Her følger utdrag fra boken, hvor forfatteren gir eksempler på noen smarte grep samt noen feil som er lette å begå når vi skal gi oss spørreskjemakunsten i vold.

---

Tre kunsthåndgrep

Spørreskjemametodikk er en blanding av håndverk og kunst. Det finnes en del verktøy og teknikker som kan brukes for å utvikle gode spørreskjemaer. Men forutsetningen for et godt resultat er at den som lager spørreskjemaet, i tillegg har et visst blikk for hva som er godt og dårlig. Derfor er det også en del likhetstrekk mellom skjemautvikling og kunstneres arbeidsmetode. Skal resultatet bli skikkelig bra, må nivået heves fra matlaging til kokkekunst.

Oversikt før detaljer

Få alle ingrediensene på bordet, og lag en plan for hele måltidet før du starter med å lage hovedretten. Den aller vanligste feilen i spørreskjemakonstruksjon er at en begynner å lage spørsmål før formålet er tilstrekkelig spesifisert, og før det er tatt nødvendige beslutninger om utvalg, innsamlingsmetode og rapportering. Det er vanskelig å frigjøre seg fra et detaljert utgangspunkt. Den som starter med spørsmålene har lett for å låse seg til formuleringer, enten de dekker problemstillingen eller ikke. Slike skjemaer blir dessuten lett rotete fordi utformingen ikke er styrt av en plan over spørsmålsflyten. Og før datainnsamlingen kan settes i gang, er det ikke bare spørreskjemaet, men også en rekke andre oppgaver og aktiviteter som må være klare. Gjør du spørreskjemaet ferdig før du begynner å tenke på hva som ellers må gjøres, vil forberedelsene ta unødvendig lang tid. Det blir omtrent som å steke ferdig kjøttet før du setter over potetene.

Komposisjon

Det er ikke en bestemt ingrediens, men måten menyen er komponert på og sammensetningen av råvarer og smakstilsetninger i hver rett som avgjør om resultatet blir godt eller ikke. Skal spørreskjemaundersøkelsen bli vellykket, må utvalgstrekkingen, innsamlingsteknikken, spørsmålene og skjemautformingen spille sammen og trekke i samme retning. Det hjelper lite å presentere et godt spørreskjema for et utvalg som ikke er representativt for den befolkningen du ønsker å kartlegge. Og selv om spørsmålene burde være lette å forstå, kan skjemaet likevel være så tungt å fylle ut at svarpersonene vegrer seg. Årsaken kan for eksempel være for liten skrift eller for små avkryssingsbokser - eller at det er vanskelig å finne fram i skjemaet fordi det inneholder mye unødvendig informasjon, eller at det varierer hvor på skjemasidene spørsmål og svaralternativer er plassert. Det holder heller ikke å sende ut et leservennlig spørreskjema hvis de som unnlater å svare i første omgang, ikke blir fulgt opp på en planmessig måte. Det har vist seg at en veladministrert datainnsamling og frafallsoppfølging kan øke svarinngangen med opptil 10-15 prosentenheter.

Publikumsappell

Det tredje kunsthåndgrepet er å servere rett mat til rett anledning. Det er lett å glemme hvem som skal lese spørreskjemaene. Vi har en tendens til å være altfor opptatt av våre egne ideer, og ikke huske på at spørsmålene skal formidles til en sammensatt forsamling av mottakere som har høyst ulike forutsetninger for å forstå hva vi spør om. Resultatet kan bli et spørreskjema som vi og andre med lignende akademisk bakgrunn som oss selv er i stand til å besvare, men som andre misforstår eller lar være å svare på. "Communication is the answer to the question," heter det i en John Lennon-melodi. I metodebøkene presenteres spørreskjemaundersøkelser som en datainnsamlingsmetode. Men det ville være like riktig å karakterisere det som en formidlingsform.

De vanligste feilkildene

Det er ikke sikkert du kan regne med at alle har forutsetninger for å svare på alle spørsmålene. Men det er ikke akseptabelt at selve spørsmålsformuleringene fungerer som en kunnskapsbarriere. Jeg vil peke på tre svakheter som du skal se etter i formuleringene dine for å unngå at de blir unødvendig vanskelige.
1 Generelle spørsmål. Formuleringer av typen "Hvor lang tid bruker du vanligvis ...", "Hva er din generelle holdning til ..." eller "Hva vil du anslå ..." avslører spørsmål som forutsetter at respondenten foretar generaliseringer på grunnlag av en uspesifisert tidsperiode, sammenfatter forskjellige uspesifiserte meninger han har, eller gjennomfører et uspesifisert regnestykke. Vi har ingen kontroll med hvordan respondenten kommer fram til et svar på slike spørsmål. Og oppgaven er såpass komplisert at den innbyr til snarveier. Jeg tror det er to hovedgrunner til at denne typen spørsmål likevel er veldig vanlige. Den ene er at vi bruker begreper som er hentet fra fagmiljøer, men som ikke er prøvd ut på potensielle deltakere i undersøkelsen. Selv om slike begreper har en entydig teoretisk betydning, kan de i praksis være mangetydige. Den andre årsaken er at vi innbiller oss at det er nødvendig med generelle spørsmål for å måle hva som er det typiske mønsteret blant dem som blir spurt. Slike begrunnelser baserer seg imidlertid på en sammenblanding av hva som er observasjonsenhet og hva som er analyseenhet i undersøkelsen. Spørreskjemaet skal riktignok besvares av enkeltpersoner. Men når vi foretar en statistisk analyse, er poenget ikke å kartlegge den enkeltes liv og livssituasjon, men å samle enkeltopplysninger til et helhetsbilde. Resultatet kan sammenlignes med et abstrakt maleri. Det finnes ikke i virkeligheten, men forteller likevel noe vesentlig om den.
2 Sammensatte spørsmål. Vær kritisk til alle spørsmål som har bindeordet "og" i spørsmålsformuleringen. De består gjerne av mer enn ett spørsmål. Sammensatte spørsmål kan forenkles på to måter. De kan splittes opp i flere spørsmål. Eller spørsmålsformuleringen kan splittes opp i en tekstdel og en opplisting av de forskjellige spørsmålene som formuleringen inneholder. Et eksempel på denne siste teknikken er spørsmålet:

Spm. 1: Hvor mange ganger i løpet av de siste 12 månedene har du vært på ferieturer der du reiste bort og overnattet i minst fire netter, og
- hvor mange dager varte hver tur?
- hva slags transportmiddel brukte du på turen?
- hvem reiste du sammen med?
- hvor overnattet du?
3 Yrkesbetingede spørsmålsformuleringer. Ordene og setningsbygningene bør ligge så nær opp til folks dagligtale som mulig. Derfor vil det akademiske språket de fleste spørreskjemakonstruktører bruker i arbeidet sitt, vanligvis ikke fungere særlig godt i et spørreskjema. Du bør heller lytte til hvordan mennesker med ulik utdannings- og yrkesbakgrunn snakker til hverandre når de har fri. For å avdekke uheldige, akademiske setningsbygninger bør du se etter spørsmål
- med flere enn ett verb per setning;
- med mange kommaer som brukes til å holde fra hverandre forbehold og presiseringer;
- med bisetninger foran hovedsetningen som inneholder det egentlige spørsmålet;
- med passive uttrykksformer som gjør handlinger til hendinger eller respondenten til en generell person.
Synlige svaralternativer gjør det normalt lettere å forstå hva spørsmålet dreier seg om. Men svaralternativene kan også skape uklarhet og problemer. Igjen vil jeg nevne tre svakheter som du bør være på vakt mot:
1 Svaralternativer som ikke stemmer overens med spørsmålet. Den vanligste formen for misforhold mellom hva du spør om og hva slags svar du ber om, er at du stiller et ja-/nei-spørsmål, men ber om forskjellige typer ja- og nei-svar. Ellers bør du alltid sjekke om du refererer til samme målestokk i spørsmålet som du bruker i svaralternativene. Dersom du for eksempel starter et spørsmål med uttrykket "Hvor mange ...", vil respondenten vente at svaret skal oppgis som et antall, og ikke som en andel eller på en skala som går fra få til mange.
2 Svaralternativer som ikke er gjensidig utelukkende. Blir respondenten bedt om å gi bare ett svar, er det selvsagt forvirrende dersom det er to eller flere svaralternativer som passer. Årsaken til at svaralternativene ikke er gjensidig utelukkende kan være at de har overlappende eller uklare grenser, eller at de består av en sammenblanding av forskjellige målestokker. Det klassiske eksempelet på overlappende grenser er tidsintervaller av denne typen: 9 til 10, 10 til 11. Her er et annet eksempel på en skala som både har uklare grenser og som blander sammen forskjellige målestokker: OFTE - AV OG TIL - NOEN GANGER - SJELDEN.
Denne typen svaralternativer overlater til den enkelte som svarer å avgjøre hvor grensene mellom de forskjellige alternativene går. Videre passer svaralternativet NOEN GANGER sammen med spørsmål om antall, mens de andre svaralternativene dreier seg om aktivitetsfrekvensen.
3 Urealistiske svaralternativer. Det skal helst være samsvar mellom det detaljeringsnivået vi legger opp til i svaralternativene, og det detaljeringsnivået respondentene tenker om saken på. Derfor kan både for grove og for detaljerte svarkategorier skape problemer. I forbindelse med EU-avstemningen i 1994 ble det stilt et spørsmål om hvor positive eller negative folk var til norsk medlemskap i EU. Svaret skulle plasseres på en kontinuerlig skala som gikk fra 0 til 10. Dét var nok en uvant problemstilling for mange. Spørsmålet de skulle ta stilling til i folkeavstemningen, dreide seg kun om enten å være for eller imot. Derfor kunne det for eksempel være fristende å omformulere spørsmålet til å gjelde hvilke holdninger en hadde til Europa. Det er et spørsmål som det er mye mer naturlig å ha et nyansert forhold til.
Selv om vi greier å unngå at spørsmålsformuleringene skaper sine egne kunnskapskløfter, kan det hende at selve spørsmålet ikke kan besvares med mindre respondenten har bestemte kunnskaper eller erfaringer. Underslår vi dette og forsøker å få så mange som mulig til å svare, uansett hvor velfunderte svar de kan gi, risikerer vi at resultatet blir en lapskaus med ubestemmelig innhold. Jeg vil peke på to spørsmålsproblemer og et problem med svaralternativene som kan føre til at svargrunnlaget blir for heterogent:
1 Ufrivillig hypotetiske spørsmål. Hypotetiske spørsmål brukes av og til som hjelpemiddel for å forutse hva som kan bli virkningen av planlagte tiltak. Men dessverre viser det seg ofte at det er liten eller ingen sammenheng mellom hvordan folk sier at de vil handle i en hypotetisk situasjon, og hva de senere faktisk gjør dersom denne situasjonen blir realitet. Det samme problemet står vi overfor dersom vi stiller spørsmål om hva folk mener eller tror om saker som noen har direkte kjennskap til eller erfaringer med, mens andre må svare på hypotetisk grunnlag. Det er et minimumskrav at slike spørsmål kobles sammen med ett eller flere tilleggsspørsmål som avklarer hva slags kunnskaps- eller erfaringsgrunnlag forskjellige respondenter bygger på.
2 Implisitte spørsmål. "Hva stemte du ved siste valg?" er et typisk eksempel på et slikt spørsmål. Uten å si det direkte forutsetter spørsmålet at svarpersonene har stemt ved siste valg. Spørsmålet inneholder altså et skjult filterspørsmål. Implisitte spørsmål avslører seg av og til ved at spørsmålet innledes med "Dersom", "Hvis" eller andre uttrykk som signaliserer et forbehold.
3 Svaralternativer som ikke er uttømmende. Dersom respondenten ikke finner noe dekkende svaralternativ, vil han selvsagt heller ikke kunne gi noe korrekt svar. Vanligvis beflitter vi oss på å lage kategorier som dekker de substansielle svarmulighetene, mens vi tar lettere på hvilke svaralternativer vi tilbyr dem som ikke kan gi noe substansielt svar. Den lettvinte løsningen er å bruke "Vet ikke" som oppsamlingskategori. Selv om svaralternativene dermed formelt sett blir uttømmende, er det ikke sikkert at respondentene oppfatter det slik. "Vet ikke" kan bety at respondenten ikke vet nok til å kunne gi et svar, eller ikke er i stand til å gi noe avgjørende svar. Koblet sammen med implisitte spørsmål kan det også bety at respondenten faller utenfor den gruppen som skal svare. Et annet eksempel på diffuse avkryssingsalternativer er når spørsmål om penger, tid eller andre målbare størrelser ikke har noen avkryssingsboks for 0 eller "Ingen". Da risikerer vi at noen respondenter lar svarfeltet stå åpent fordi de ikke har noe å rapportere. Men det kan også hende at en tom svarrubrikk skjuler en eller annen "Vet ikke"-variant. Analysegrunnlaget blir svekket når vi ikke vet hvordan ubesvarte spørsmål skal oppfattes. Dessuten tror jeg det er viktig for respondentens motivasjon at han også føler at han får fram et poeng selv om han ikke svarer på selve spørsmålet.
Det er en viktig forskjell mellom å påvirke hva slags svar respondenten gir og å påvirke hvilket svar han gir. Hensikten med å referere eller vise fram svaralternativene er å forklare bedre hva slags opplysninger vi er ute etter, og hva slags målestokk vi ønsker at respondenten skal bruke når han gir et svar. Men samtidig øker også faren for at vi påvirker selve svaret. Jeg vil nevne tre måter å falle i denne grøfta på:
1 Ubalanserte spørsmål. Lytt til journalistene i Dagsnytt Atten når de stiller spørsmål som "Er ikke det som foregår i Kosovo nå etnisk rensing?", "Dere politikere snakker, men gjør dere egentlig noe med situasjonen?". Journalister er dyktige til å stille halve spørsmål eller foreslå bestemte svar for å bevege intervjuobjektet dit de vil ha ham. Det er lettere å nikke bekreftende enn å protestere mot forslagene i disse spørsmålene. Kanskje er et av problemene med å lage gode spørreskjemaer at vi har lært å stille spørsmål fra aviser og nyhetssendinger.
2 Ubalanserte svaralternativer. Prinsippet om at svaralternativene skal utgjøre en nøytral skala eller likeverdige forslag, høres enkelt ut. Men i praksis kan du både støte på språklige problemer og det som kalles sosiolingvistiske problemer. Vær på vakt mot tallskalaer som ikke har like mange positive som negative verdier. Vær også på vakt mot forstavelsen u- i navnene på ytterpunktene i vurderingsskalaer. Slike skalaer dekker ofte ikke hele meningsspekteret i en sak, men vanligvis bare ulike graderinger av positive vurderinger. I atferdsspørsmål er det viktig å ta hensyn til at usikre svarpersoner kan bruke avkryssingsskalaens midtpunkt og ytterverdier til å finne ut hva som er gjennomsnittet og ekstreme verdier i det virkelige liv. Dersom slike skalaer ikke er forankret i den faktiske fordelingen i befolkningen, kan skalaen påvirke svarene fordi respondenten forholder seg til en feilaktig oppfatning av hva som er det vanlige og hva som er uvanlig mye og lite.
3 Dobbeltløpede spørsmål. Tilsynelatende saklige spørsmål kan likevel ha en dobbelt bunn fordi de er knyttet til tendensiøse påstander som er bakt inn i spørsmålet. Her er et eksempel:
Spm. 1: Synes du det er et rimelig forslag at folk som mottar sosialhjelp bør ha plikt til å arbeide for pengene, eller synes du folk fortsatt bør kunne motta sosialhjelp uten å yte noe tilbake?
Det er det lille ordet "noe" som skaper problemet. Det gir inntrykk av at det eneste alternativet til å arbeide for pengene er å drive dank. Derfor blir spørsmålet ledende.
Utdraget er hentet fra Gustav Haraldsens bok "Spørreskjemametodikk etter kokebokmetoden", utgitt i 1999 av Ad Notam Gyldendal. Utdraget er trykket med tillatelse fra forlaget. Teksten er hentet fra side 23-25 og 156-161.

Gustav Haraldsen

(Gustav.Haraldsen@ssb.no) er prosjektleder i Statistisk sentralbyrå, Seksjon for statistiske metoder og standarder.

Samfunnsspeilet nr. 6, 1999