Denne rapporten viser at etterlevelsen av kvalitetskravene er forbedret siden forrige års rapport. Alle produsenter av offisiell statistikk har arbeidet med forbedringstiltak basert på anbefalinger fra fjorårets rapport. En rekke tiltak er planlagt, under arbeid eller gjennomført. Dette har bidratt til forbedringer innenfor flere av områdene som ble trukket fram i forrige års rapport. Det er særlig den skriftlige dokumentasjonen av statistikkene som er blitt forbedret og mer tilgjengelig.
Den viktigste kilden for kvalitetsrapporten er den årlige kvalitetsevalueringen hos alle produsenter. Denne er dokumentert i egen rapport «Kvalitetsevaluering av offisiell statistikk, 2023» (SSB, 2023b). Kvalitetsevalueringsprosessen med spørreskjema og oppfølgingsintervju på institusjonsnivå om etterlevelse av kvalitetskravene, har bidratt til økt bevissthet om kvalitetsprinsippene. Dette er i seg selv positivt.
Det er i år innhentet mer informasjon i kvalitetsevalueringen for å kunne gi et bedre grunnlag for å vurdere etterlevelsen av sentrale kvalitetsprinsipper. Dette gjelder blant annet informasjon om brukerkontakt og bruk av indikatorer for å måle kvalitet i produksjon av offisiell statistikk.
Kvalitetsevalueringen viser at produsentene på institusjonsnivå i stor grad oppfyller kvalitetskravene. For å gi et bedre bilde av kvaliteten på statistikknivå er det behov for å innhente ytterligere informasjon fra produsentene av offisiell statistikk. Å innhente og dokumentere kvalitetsinformasjon på statistikknivå vil være et utviklingsområde i det norske statistikksystemet fremover.
Anbefalinger
De viktigste anbefalingene for å sikre etterlevelsen av kvalitetsprinsippene i statistikkloven og Retningslinjer for Europeisk statistikk er gjengitt nedenfor.
Kvalitetsevalueringen viser at det er rom for forbedringer knyttet til kvalitetsprinsippet om relevans. En statistikk som ikke møter brukernes behov, er ikke relevant. For å raskt fange opp nye og endrede brukerbehov anbefales det å prioritere både formell og uformell brukerkontakt. De produsentene som ikke har faste møteplasser med sentrale brukere i form av brukerråd eller lignende, bør vurdere å etablere det. For å fange opp behov og tilfredshet fra andre brukere anbefales det å gjennomføre regelmessige brukerundersøkelser og å følge opp resultatene systematisk.
Forbedret og mer tilgjengelig dokumentasjon er det området der det er registrert størst forbedring fra i fjor. Det er likevel behov for å videreføre forbedringsarbeidet på dette området. Noen produsenter har fortsatt behov for bedre og mer tilgjengelig dokumentasjon av sine statistikker. I tillegg har Eurostat i februar 2023 vedtatt en anbefaling om å ta i bruk Single Integrated Metadata Structure (SIMS) (Eurostat 2023b) for dokumentasjon av statistikk. SIMS er Eurostats rammeverk for organisering av statistikkdokumentasjon og er tett knyttet opp mot kvalitetsprinsippene i Retningslinjer for europeisk statistikk. SIMS brukes blant annet for å rapportere statistikkdokumentasjon til Eurostat for statistikker som er forordnet i EØS-avtalen. En slik dokumentasjon går også under betegnelsen referansemetadata. Å dokumentere statistikker i tråd med SIMS vil gi flere fordeler. Man vil få en ensartet dokumentasjon av statistikkene, både nasjonalt og internasjonalt, noe som gjør det enklere å sammenligne statistikk. Kvaliteten på dokumentasjonen vil også bli bedre og mer tilgjengelig. Derfor bør alle produsenter dokumentere sine statistikker i overensstemmelse med SIMS, i tråd med anbefalingen fra Eurostat. Det vil på litt lengre sikt muliggjøre gjenbruk av dokumentasjon og en mer automatisert rapportering til Eurostat for EØS-forordnede statistikker.
Bruk av kvalitetsindikatorer for å måle kvalitet i produksjon av offisiell statistikk er generelt sett lite utbredt. Kvalitetsindikatorer gir objektiv informasjon for vurdering av kvalitet i statistiske prosesser eller på statistiske produkter. Produsentene av offisiell statistikk anbefales derfor å starte et arbeid med å vurdere relevante kvalitetsindikatorer for utvalgte statistikker. Noen indikatorer, som for eksempel aktualitet, bør alle produsenter måle. Kvalitetsindikatorer vil gi mulighet til å måle og følge et kvalitetsaspekt over tid, og å dokumentere om forbedringstiltak har effekt. Bruk av kvalitetsindikatorer vil være et utviklingsområde i produksjon av offisiell statistikk fremover. SSB har igangsatt et arbeid med anbefalte kvalitetsindikatorer som vil deles med alle produsenter av offisiell statistikk.
Kompetansebygging og erfaringsutveksling på tvers av produsentene av offisiell statistikk er viktig for å lykkes med forbedringsarbeidet. SSB har en omfattende kursportefølje som er relevant for kvalitetsarbeidet. Kursene er åpne for alle produsenter av offisiell statistikk. Gjennom Metodenettverket er det etablert en arena for erfaringsutveksling på tvers av alle produsentene av offisiell statistikk. Temaene styres i stor grad av anbefalinger og behov som er dokumentert i den årlige rapporten om kvalitet i offisiell statistikk. Alle produsenter oppfordres til å delta på relevante kurs og være aktive bidragsytere i aktiviteter i Metodenettverket.
SSB har avtaler om utlevering av data og samarbeid om kvalitet med eierne av administrative informasjonssystemer. En viktig del av avtalene er at det utarbeides kvalitetsrapporter som gir kunnskap om kvaliteten på mottatte data. Erfaringene med disse avtalene og kvalitetsrapportene er gode. De har bidratt til forbedret kvalitet på dataene i informasjonssystemene. Flere produsenter som benytter data fra administrative informasjonssystemer, oppfordres til å vurdere nytten av å inngå tilsvarende avtaler.
Flere anbefalinger er videreført fra fjorårets rapport. Årsakene til at de er videreført er at tilhørende forbedringstiltak pågår, men ikke er fullført, eller at produsentene foreløpig ikke har satt opp forbedringstiltak basert på anbefalinger. Noen tiltak er mer krevende enn andre og vil ta lengre tid å gjennomføre, noen ganger flere år.
Videreutvikling av kvalitetssystemet
For å forbedre kvalitetssystemet er det behov for både å videreutvikle eksisterende metoder og etablere nye metoder for å måle kvalitet i produksjon av offisiell statistikk.
Kvalitetsevalueringen er den viktigste kilden for å dokumentere kvalitet i offisiell statistikk. Evalueringen har hittil vært gjennomført på institusjonsnivå. For å kunne gi et mer detaljert bilde av kvalitet i offisiell statistikk er det behov for å innhente ytterligere informasjon på statistikknivå. SSB planlegger å utvikle et spørreskjema som kan benyttes på dette nivået til neste kvalitetsevaluering. SSB mener at det er behov for mer informasjon om estimering og formidling av usikkerhet i offisiell statistikk. Neste kvalitetsevaluering vil innrettes slik at den gir et grunnlag for videre oppfølging av dette. På sikt er det også muligheter for å bruke referansemetadata og kvalitetsindikatorer som kilde til informasjon på statistikknivå.
Kvalitetsgjennomganger er en etablert og systematisk metode for å heve kvaliteten i enkeltstatistikker. I 2022 har SSB, i samråd med Utvalget for offisiell statistikk, etablert en systematisk fremgangsmåte for utvelgelse av statistikker til kvalitetsgjennomganger. Utvelgelsen gjøres blant alle statistikker fra statistikkprogrammet og er basert på kriterier som risiko, resultat fra tidligere gjennomganger, oppdagede feil og områder med stor oppmerksomhet. I 2023 er det planlagt tre kvalitetsgjennomganger i SSB og én kvalitetsgjennomgang hos en annen produsent. Andre produsenter er invitert til å bidra i teamet som gjennomfører kvalitetsgjennomganger. I neste statistikkprogramperiode (2024-2027) har SSB som ambisjon å øke antallet årlige kvalitetsgjennomganger ytterligere.