Kommunal bruk av brukerundersøkelser

På oppdrag fra KRD undersøkte SSB sammen med BI høsten 2003 den kommunale bruken av brukerundersøkelser. Dokumentsamlingen "Evaluering av kommunale brukerundersøkelser" (Rolland mfl. 2004) inneholder hovedrapport og underrapporter fra prosjektet. Evalueringen omfattet både kommunenes bruk av brukerundersøkelser, og de metoder som benyttes i disse undersøkelsene. Bruken av brukerundersøkelser ble sett i forhold til reformene av offentlig sektor, og i forhold til erfaringer med brukerundersøkelser i et mindre antall norske kommuner. Metodene ble vurdert i forhold til kriterier for evaluering av undersøkelser, med empirien avgrenset til de mest utbredte opplegg for kommunale brukerundersøkelser. Denne artikkelen formidler hovedinntrykk fra undersøkelsen.

Stikkprøver av kommuner

KRDs prosjektinnbydelse antydet at den empiriske undersøkelsen av kommunale erfaringer med brukerundersøkelser burde begrenses til to-fire kommuner. I alt ble det gjennomført intervjuer i fem kommuner, valgt ut av SSB/BI i samråd med KRD på grunnlag av forhåndskunnskap til hvilke kommuner som hadde gjort interessante erfaringer. Det ble lagt vekt på å få med kommuner som har valgt ulike løsninger når det gjelder brukerundersøkelser.

Det ble konstatert en utbredt oppfatning i de undersøkte kommuner at selvgjort er velgjort når det gjelder brukerundersøkelser, og at veien blir til mens vi går. Det synes å være betydelig skepsis til akademiske krav til undersøkelsesmetoder og statistiske teknikker, og det statistisk-analytiske ambisjonsnivået er lavt. Kommuner som har erfaring med undersøkelser er fortsatt positive, men kanskje mer kritisk reflekterte. Politikerne er delvis tilskuere, i alle fall foreløpig. Brukerundersøkelsene fremstår som partinøytrale.

Det bør imidlertid være et selvsagt krav til beslutninger med konsekvenser for kommunens ansatte og innbyggere at de treffes på grunnlag av sann kunnskap om kommunens ansatte og innbyggere. Dette stiller krav til de kommunale brukerundersøkelser, i hvert fall til brukerundersøkelser som skal brukes, og ikke bare tjene en symbolfunksjon.

Evaluering av undersøkelser

Prosjektet gjennomgikk kriteriene for evaluering av brukerundersøkelser, evaluerte et utvalg eksisterende undersøkelser og identifiserte metodiske forbedringsområder.

Blant de viktigste kravene til vitenskapelighet er etterprøvbarhet og etterrettelighet ved valg av:

• Undersøkelsenes formål og problemstilling
• Undersøkelsesopplegg eller design
• Metoder for måling og operasjonalisering
• Metode for datainnsamlingen
• Prosedyre for utvelgelsen av respondenter
• Analysemetode og rapporteringsform

Disse kriterier ble benyttet til felles evaluering av et utvalg eksisterende brukerundersøkelser. Samtlige var typiske tilfredshetsundersøkelser med tverrsnittsdesign for å evaluere dyktigheten på ulike offentlige tjenester. Flere av undersøkelsene presiserte også at brukerundersøkelsen skal identifisere forbedringsområder samt viktighet av ulike elementer av en tjeneste for brukertilfredsheten av denne tjenesten. Dette kan gi et bilde av den reelle etterspørselen, men hvis tilfredshet ikke er den eneste problemstillingen som er viktig for offentlig sektor - hvilket neppe er tilfelle - tyder det snarere på manglende informasjon og tilbud om alternative metoder. Enkelte av oppleggene gir også inntrykk av tilbudsstyrt etterspørsel - man har tilbud om en metodedesign og tilpasser sine problemstillinger til dette.

Når det gjelder operasjonalisering kom prosjektet over fremgangsmåter som kan gi tvilsomme resultater, eksempelvis bruk av ett enkelt spørsmål for å bedømme et tjenesteområdes kvalitet, og bruk av over 20 spørsmål til å lage en felles indikator. Det finnes vitenskapelig utviklede spørsmålsbatterier som kan benyttes til å måle mange av de undersøkte tjenestene, men et ofte brukt argument er at oppdragsgiver selv må få utvikle spørsmålene for å skape engasjement og eierskap til undersøkelsen. En slik strategi kan føre med seg flere problemer enn nytte. Utvikling av spørsmål er en vitenskap i seg selv, og det er lett å gjøre feil. Videre mister man muligheten til å sammenligne score med andre kommuner, eventuelt andre enheter i samme kommune, og mister dermed mye verdifull informasjon. Man kan også stille seg undrende til kostnadseffektiviteten ved at hver enkelt enhet eller kommune selv skal utvikle sine egne spørsmål.

Det har vært benyttet forskjellige utvalgsprosedyrer, og prosjektet så eksempler på undersøkelser hvor man kan stille store spørsmålstegn ved prosedyren. En annen utfordring var definisjonen av brukeren. Her ble det funnet blandede fremgangsmåter, spesielt i skolesektoren samt i helse- og omsorgs-vesenet.

Det er stort sett rapportert nivå (dyktighetscore) og frekvensfordeling. Imidlertid forekommer også rapportering av "viktighet", selv om det bare unntaksvis er gjennomført analyser for å se på sammenhenger mellom variablene. Rapportering av dyktighet er gjort på mange forskjellige måter, og noen undersøkelser rapporterer de samme resultatene på forskjellige måter i samme rapport. Dette gjør det vanskelig å holde oversikten over hva et tall faktisk betyr. Det er et klart behov for retningslinjer eller råd om hvordan resultatene skal analyseres og rapporteres.

En hovedutfordring er rapportering og tolkning av resultater. Det rapporteres til tider på måter som gjør tolkning vanskelig, resultatene er ikke utvetydige og av og til fører mangel på dokumentasjon til potensielle problemer. Uten at det foreligger detaljert dokumentasjon i alle ledd i undersøkelsen, er det ikke mulig å sammenligne. Likevel vet vi at dette gjøres.

Gjennomgangen av undersøkelsene samt informasjonen fra intervjuene etterlater et inntrykk av at kvaliteten på brukerundersøkelser i offentlig sektor ikke blir ivaretatt i stor nok grad (med noen få unntak). Tilsynelatende skyldes dette mangel på ressurser (herunder kompetanse, tid, økonomi etc.), men også på grunn av en overbevisning om at egenutviklede undersøkelsesopplegg (herunder også utarbeidelse av spørsmål) er best egnet for å ivareta involvering og følt eierskap til undersøkelsen. Involvering og eierskap kan ofte oppleves som en forutsetning for at undersøkelsen skal bli så sterkt forankret i organisasjonen at den blir aktivt brukt som styringsverktøy i kommunen.

Standardisering eller spesialisering?

Et av flere gjennomgangstema i metoderapporten var standardisering versus lokal tilpasning. En rekke forhold taler for en viss standardisering, i tillegg til at det selvsagt er helt nødvendig hvis sammenlignbarhet ønskes. For det første er det viktig at man benytter seg av akkumulert kunnskap og kompetanse slik at kvaliteten på undersøkelsen blir optimalisert. For det andre er det unødvendig å finne opp hjulet på nytt hver gang en undersøkelse skal gjennomføres. Det er samfunnsøkonomisk uhensiktsmessig, og kan i verste fall gi pålitelige svar som er systematisk feil. For det tredje er det en mulig risiko forbundet med å gjøre en undersøkelsesform som skal gå med jevne intervaller for avhengig av de enkeltpersoner som står for utvikling og gjennomføring.

Rapporten viste at organiseringen av den kommunale tjenesteproduksjon kan ha betydelige konsekvenser for nytteverdien av å gjennomføre brukerundersøkelser, for hva slags undersøkelser som behøves, samt for hvordan undersøkelsene, og kontrollen med dem, berører de ulike aktørenes interesser. Eksempelvis vil opprettholdelse av kommunalt monopol, men med benchmarking eller målestokkonkurranse som konkurranseform ("virtuell" konkurranse), kreve et samarbeid mellom kommuner om standardisering av undersøkelser. Kommunene konkurrerer ikke om de samme kundene, men har en liksom-konkurranse om hvem som er best til å tilfredsstille sine innbyggere, hvilket forutsetter at de er enige om konkurransereglene. Dette er verken nødvendig eller nødvendigvis hensiktsmessig for tjenesteleverandørene ved reell konkurranse, blant annet fordi standardisering da kan være til fordel for brukerne og ikke for tilbyderne (forskyvning fra produsent- til konsumentmakt, fra selgers til kjøpers marked). Reelle konkurrenter samarbeider ikke med mindre de blir tvunget til det, eller de har større fordeler av samarbeid enn konkurranse, hvilket for øvrig kan komme i konflikt med konkurranselovgivningen.

Man får også inntrykk av at det primært er produsentene, eller tilbyderne av de kommunale tjenestene, som har interesse av spesialtilpassede brukerundersøkelser. For borgerne, brukerne, politikerne og forvaltningen er forholdet omvendt. De trenger alle standardiserte undersøkelser og sammenlignbare data som grunnlag for å kunne kontrollere tjenesteprodusentene og foreta rasjonelle handlingsvalg i forhold til dem, i markedet ved kjøp av tjenester og i demokratiet ved beslutninger om bevilgninger. De deler produsentenes ønske om spesialisering kun i den utstrekning de selv ikke ønsker å bli kikket i kortene. De lokale politikerne og kommunalforvaltningen kan for eksempel ha slike behov i forhold til statlig politikk og forvaltning.

Nå må det også tilføyes at heller ikke tjenesteprodusentene har noe ubetinget behov for spesialtilpassede undersøkelser. De har behov for standardisering ved etablering av konkurransemarkeder, når "pengene følger brukeren" og ved "virtuell" konkurranse eller benchmarking. Av dette følger at tjenesteprodusentenes behov og muligheter for spesialtilpassede undersøkelser er størst ved det kommunale tjenestemonopol. Den unike tjeneste dekkes da ved hjelp av unike brukerdata, og muligheten for å sammenligne begrenses til å sammenligne monopolet med seg selv over tid. Av dette følger videre at spesialtilpassede undersøkelser vil være et middel også til å opprettholde tjenestemonopolet. Det kan derfor synes som om kommunene ønsker seg spesialtilpassede undersøkelser, ikke som instrument for å møte konkurransen, men som middel til å hindre at konkurranse oppstår.

Hva er kvalitet?

Rapporten diskuterer også forholdet mellom brukerundersøkelser og konkurranse, kvalitet og demokrati. Her tok man utgangspunkt i det "svevende og uhåndgripelige" ved kvalitetsbegrepet. Det ble redegjort for den statlige og kommunale jakten på kvalitetsindikatorer, en tilnærmingsmåte som implisitt forutsetter at kvalitetsproblemet kan reduseres til et måleproblem ("hvordan måle kvalitet"). Det ble også vist at målet om kvalitet kan komme i konflikt med andre høyt prioriterte mål for den kommunale tjenesteproduksjon. Spesielt blir det redegjort for målkonflikter mellom brukeropplevd tjenestekvalitet og økonomisk effektivitet, samt mellom brukeropplevd tjenestekvalitet og en konkurranseutsatt kommunal tjenestes markedsandel.

En fordel å være sist?

Brukerundersøkelse som metode forutsetter at det blir etablert tidsserier, slik at det blir mulig å måle endring (fremgang og tilbakegang). Dette gjør valg av metode for første undersøkelse viktig, for viser det seg at metoden selv må forbedres, brytes tidsserien. Prosjektets observasjon av forestillingen om at selvgjort er velgjort, av den betydelige kommunale skepsisen til vitenskapelige kriterier for undersøkelsene, og av de ikke alltid like heldige metodevalg som er foretatt, gir støtte til den norskamerikanske sosiologen Thorstein Veblens (1915) teori om "the penalty for taking the lead". En del av de kommunene som har vært tidlig ute med brukerundersøkelser, vil opplagt bli stilt overfor valget mellom å skrote flere års arbeid eller fortsette med metoder som de selv i stigende grad vil oppleve som utilfredsstillende. Kommuner som har vært senere ute, og i mindre grad har bundet seg til bestemte undersøkelsesopplegg, kan dra fordelen Veblen kalte "the advantage of backwardness".

Utfordringer for departementet - og for SSB

Prosjektets eksplorerende karakter har som konsekvens at hele rapporten "Evaluering av kommunale brukerundersøkelser" kan leses som en katalog over forskningsmessige problemer og utfordringer for KRD. Disse kan imidlertid syntetiseres til et forslag om forskningsstrategi. Etter prosjektets oppfatning bør KRDs videre arbeid i forhold til de kommunale brukerundersøkelsene ha som overordnet siktemål å avklare 1) hvilken status bør brukerundersøkelser ha i den kommunale beslutningsstrukturen, 2) hvilke krav bør undersøkelsene tilfredsstille for å kunne inneha denne statusen, 3) om de eksisterende undersøkelsesopplegg tilfredsstiller disse kravene og 4) hvis ikke, hva må til for å tilfredsstille kravene. Utgangspunktet for strategien må være spørsmålet om hvorfor måle tjenestekvalitet og brukertilfredshet. Først når dette er tilfredsstillende besvart, blir det meningsfullt å besvare spørsmålet om hvordan måle tjenestekvalitet og brukertilfredshet. Et ønske om å spare tid og kostnader ved å starte med "hvordan", vil uunngåelig ha den motsatte konsekvens, at tid og penger tapes på løsninger som må forkastes etter hvert som nye forutsetninger gjør sin entre.

Brukerundersøkelser produserer statistikk. Derved berører de også SSB: Uansett hva byrået måtte foreta seg, fra å samle inn og tilrettelegge andres brukerstatistikk, via selv å produsere slik statistikk, til å neglisjere dens eksistens, vil det påvirke utformingen av den nye offentlige arenaen, betydningen av den statistikk SSB for øvrig produserer og formidler, og dermed byråets bidrag til den autoritative verdifordelingen i samfunnet.

Referanser

Rolland, A. & Ø. Brekke, SSB, B. M. Samuelsen & P. R. Silseth, BI (2004): Evaluering av kommunale brukerundersøkelser. Prosjekt utført for Kommunal- og regionaldepartementet av Statistisk sentralbyrå og Handelshøyskolen BI . Rapporter 2004/7, Statistisk sentralbyrå.

Veblen, T. B. (1915): Imperial Germany and the Industrial Revolution. New York: Macmillan.

Asle Rolland er seniorrådgiver i Statistisk sentralbyrå, Avdeling for personstatistikk ( asle.rolland@ssb.no ).