Kvalitetskravene til offisiell statistikk er beskrevet i statistikkloven § 5 og Retningslinjer for europeisk statistikk (SSB, 2017).

Funn

Den viktigste kilden for denne rapporten er den årlige kvalitetsevalueringen hos alle produsenter av offisiell statistikk. For første gang er kvalitetsevalueringen gjennomført på statistikknivå, der en selvvurdering for alle statistikker i nasjonalt program for offisiell statistikk 2021–2023 (SSB, 2021), og informasjon fra oppfølgingsmøter med statistikkseksjoner i SSB og eksterne produsenter utgjør faktagrunnlaget fra evalueringen. Selvvurderingen har blitt utført i form av et spørreskjema om etterlevelse av kvalitetskrav.

Kvalitetsevalueringen på statistikknivå har, gjennom å involvere statistikkansvarlige, bidratt til økt bevissthet om kvalitetskravene hos de som produserer statistikkene. Det er en viktig og positiv effekt av å ha gjennomført kvalitetsevalueringen.

Resultatene fra kvalitetsevalueringen viser en god etterlevelse av mange av kvalitetskravene i den norske statistikkloven og Retningslinjer for europeisk statistikk. For noen av kvalitetskravene er det behov for styrket bevissthet og etterlevelse. Dette gjelder blant annet kvalitetskravet om statistisk konfidensialitet, og måling og formidling av usikkerhet i statistikken som er relatert til kvalitetskravet om nøyaktighet og pålitelighet. Det er betydelig variasjon mellom produsentene i etterlevelsen av enkelte krav.

For omtrent to tredjedeler av statistikkene har produsentene svart at det er behov for å ivareta statistisk konfidensialitet for ikke å avsløre informasjon om enkeltpersoner eller selskaper når statistikken publiseres. For å minske risikoen for at slik informasjon avsløres, er det viktig at anerkjente metoder og programvare benyttes for å håndtere avsløringskontroll. Kvalitets­evalueringen viser at for omtrent 20 prosent av disse statistikkene er det usikkert om statistisk konfidensialitet har vært godt nok ivaretatt ved publisering av statistikken. Dette indikerer at det er behov for å øke både bevisstheten og kompetansen om statistisk konfidensialitet.

Kvalitetsevalueringen kartlegger omfanget av beregning, vurdering, dokumentasjon og formidling av statistisk usikkerhet. Det er 23 prosent av statistikkene som har en beregning av statistikkens usikkerhet. I tillegg har flere vurdert usikkerhet, men uten å gjøre konkrete beregninger. Halvparten av statistikkene blir formidlet med mulige grunner til usikkerhet i omtale av tallene. Resultatene viser at det er tydelig forbedringspotensial, og en forbedring på dette området vil ha verdi for mange brukere og i kommunikasjonen av tallene.

Før første gang presenteres en indikator for aktualitet som dekker all offisiell statistikk. I gjennom­snitt er aktualiteten for all offisiell statistikk noe bedre enn kravet som Finansdepartementet har til SSB. Det er stor variasjon i statistikkenes aktualitet. Statistikkprodusentenes egen vurdering er at brukernes krav og forventninger til aktualitet i all hovedsak oppfylles.

Resultatene fra kvalitetsevalueringen viser at bruk av kvalitetsindikatorer, for å måle kvalitet i statistiske prosesser eller produkter, er relativt lite utbredt i produksjon av offisiell statistikk. Dette bekrefter funn fra tidligere kvalitetsevalueringer på institusjonsnivå.

Kvalitetsrapportene om kvalitet i administrative informasjonssystemer som SSB utarbeider, er utformet for å gi vurderinger og tilbakemeldinger om kvalitet i den enkelte administrative datakilde, men er ikke nødvendigvis godt egnet til å si noe om utviklingen i kvalitet over tid.

I 2022 hadde produsentene planer om til sammen 113 kvalitetsforbedrende tiltak basert på anbefalinger gitt i tidligere kvalitetsrapporter, og allerede høsten 2022 var en fjerdedel av disse tiltakene gjennomført. Ved rapportering av status for til sammen 161 tiltak i januar 2024, var 42 prosent av tiltakene gjennomført.

Overordnede anbefalinger

Kvalitetsevalueringen på statistikknivå har bidratt til et bedre faktagrunnlag for å gi anbefalinger om hvordan kvaliteten kan heves. De viktigste nye anbefalingene for å sikre etterlevelsen av kvalitets­kravene i statistikkloven og Retningslinjer for europeisk statistikk, er gjengitt nedenfor.

Det er behov for å øke bruken av anerkjente metoder og programvare for å ivareta statistisk konfidensialitet.  Kompetansen på statistisk konfidensialitet må heves, og det foreslås blant annet å gjøre grunnleggende kurs i statistisk konfidensialitet obligatorisk for alle nyansatte i statistikk­produksjonen og relevante støttefunksjoner.

Det er behov for å øke oppmerksomheten om usikkerhet i statistikken. Alle produsenter bør vurdere hvordan beregning, dokumentasjon og formidling av usikkerhet kan forbedres.

Bevisstheten om kvalitetskravene i statistikkloven og Retningslinjer for europeisk statistikk bør økes, og det anbefales at kvalitetskurs gjøres obligatorisk for alle nyansatte i statistikkproduksjonen og relevante støttefunksjoner.

Det er behov for å videreutvikle kvalitetsrapportene som SSB utarbeider på bakgrunn av data­leveranser fra administrative informasjonssystemer, for å se utviklingen i kvalitet over tid og enklere tilpasse rapportmalen etter hvert som nye behov dukker opp. I første omgang bør det gjøres en kost/nytte analyse av dette behovet.

Flere av anbefalingene fra tidligere års rapporter er fortsatt gjeldende for flere av produsentene. De viktigste er:

  • Forbedre brukerkontakt gjennom etablering av faste møteplasser for statistikkområder som ikke har slike i dag
  • Gjennomføre regelmessige brukerundersøkelser med en systematisk oppfølging av resultatene
  • Forbedre og standardisere statistikkdokumentasjon
  • Øke bruken av kvalitetsindikatorer for å måle kvalitet i statistiske prosesser og produkter

Videreutvikling av kvalitetssystemet

En viktig anbefaling som videreføres, er å øke bruken av kvalitetsindikatorer. Det krever en videreutvikling av kvalitetssystemet i form av standardisering av strukturer for data, metadata og loggdata, og utvikling av felles pakker for å skape indikatorer som kan brukes på tvers av statistikker og produsenter. Dette er en forutsetning for å få fart på arbeidet med mer bruk av kvalitets­indikatorer.

Utviklingen av kvalitetssystemet knyttet til kvalitetsevalueringer og kvalitetsgjennomganger følger i all hovedsak de planene som ble beskrevet i fjorårets rapport. Kvalitetsgjennomgangene er effektivisert. De krever mindre ressurser og gjennomføres over en kortere tidsperiode enn tidligere.  Antallet gjennomganger som gjøres per år har økt og vil øke ytterligere i 2024. Ifølge planen som er forankret i Utvalget for offisiell statistikk, skal alle produsenter ha en kvalitetsgjennomgang for en av sine statistikker innen utgangen av inneværende periode i nasjonalt program for offisiell statistikk, statistikkprogrammet, (SSB, 2024). Om denne målsetningen skal nås, er det helt essensielt at produsentene deltar, setter av nødvendige ressurser og melder inn statistikker som skal gjennomgås.  Det er nødvendig at gjennomgangene kan fordeles jevnt utover i statistikk­programperioden som løper ut 2027.

Den årlige kvalitetsevalueringen blir videreført på statistikknivå. Fra og med 2025 vil man kunne måle utvikling i etterlevelsen av kvalitetskravene som er relevante på statistikknivå. De fem nye produsentene som kom inn i statistikkprogrammet fra 2024, vil bli en del av kvalitetssystemet og gjennomføre kvalitetsevalueringer på lik linje med de andre produsentene fra 2024.