Tverrgående revisjon i KOSTRA

Denne rapporten omhandler løsninger for en første versjon av tverrgående revisjon i KOSTRA, det vil si revisjon av nøkkeltall som inneholder tall fra ulike datakilder. Den tar for seg hele revisjonsprosessen med metode- og IT- løsninger for å avdekke feil, behandling av feilmeldinger og oppfølging av disse internt og eksternt, samt en teknisk brukerveiledning for systemet.

I innledningskapitlet beskrives bakgrunnen for prosjektet. Dette prosjektet,”Tverrgående revisjon i KOSTRA – delprosjekt 1 Piloten”, er en oppfølging av ProTeam-prosjektet ”Tverrgående revisjon i KOSTRA – bedring av påliteligheten av nøkkeltallene” som ble gjennomført i 2005. Resultatene fra forprosjektet viste at det er behov for revisjon av sammensatte indikatorer blant annet fordi dette bidrar til å synliggjøre avvik som ikke så lett lar seg fange opp ved ordinær revisjon.

I kapittel 2 beskrives prosjektets valg av revisjonsprosess, metode- og IT-løsninger, på bakgrunn av den føringer og anbefalinger som lå til grunn fra forprosjektet og påfølgende VP 2006. Systemet baserer seg på eksisterende løsninger for revisjon og kommunikasjon, men det er utviklet en teknisk løsning hvor analysene gjennomføres og visualiseres i faktaarkadministrasjon (FA); på samme måte som iSAS og SAS/Insight men uten å måtte gå veien om disse verktøyene. Analysene er også utvidet i omfang i forhold til anbefalingene fra forprosjektet. Prosjektet fant ikke å kunne gjennomføremulighet for tverrgående revisjon forut for nøkkeltallsproduksjonen i FA.

I kapittel 3 beskrives den tekniske løsningen for tverrgående revisjon og de muligheter som foreliggerfor analyser, feilmeldinger og kommunikasjon av feil. Tverrgående revisjon starter i FA hvor alle grunnlagsdata samles og settes sammen til nøkkeltall. Her er det utviklet et sett med metoder og kriterier for disse som er tilpasset forskjellige analyser. Med utgangspunkt i èn indikator må det foretasen rekke analysevalg:

• Hvilken analysevariabel en vil se nærmere på – Indikatorverdien for siste år, for de to siste år ellerteller og nevner for siste år

• Hvilke analysemetode en vil benytte - Regresjonsmodell, ratemodell, Tukeys differanse, boksplott(avhenger av valgt analysevariabel)

• Grenseverdier/faktor for hva som skal være avvikende observasjoner (avhengig av valgtanalysemetode). Det er lagt inn fastsatte standardverdier men disse kan justeres

• Gruppering av enhetene – kommunene fordelt i kommunegrupperingen (KOMMODE) og fylkeskommune fordelt i regiongruppering i KOSTRA, eller for landet samlet.

• Analyserapport - om en vil at resultatet fra analysen skal inngå i en rapport over resultater fra flere analyser (ikke ferdigstilt).

Ut fra de valgte kriteriene kjøres analysene direkte og visualiseres som punktplot i et koordinatsystem og som graf som viser resultatverdien i stigende rekkefølge. De avvikende enhetene merkes spesielt i skjermbildene, og feillister med de avvikende enhetene kan enten tas ut i Excel for videre manuell oppfølging eller sendes til GenRev. Herfra kan feilmeldingene sendes til oppgavegiver og/eller mellom seksjoner internt i SSB gjennom Tilbakemeldingssystemet (TB). Systemet som er utviklet for tverrgående revisjon er globalt og kan i prinsippet anvendes for alle indikatorer i alle faktaark.

I kapittel 4 beskrives prosjektgruppas erfaringer med systemet for tverrgående revisjon. Erfaringene bygger i hovedsak på revisjon av 2007-dataene som ble gjennomført på de forskjellige fagområdenevåren 2008, men også på erfaringer og utprøvinger ellers i prosjektperioden.

Det tilbys mange muligheter for revisjon av indikatorene. Det har vært mange alternativer å utforskefor å få noe erfaring og et kvalifisert inntrykk av hva som for det enkelte fagområde og i det enkeltetilfelle er den mest relevante analyse og hvilke indikatorer som er egnet til analyse.

Erfaringene er i hovedsak at de ulike analysevariablene og analysemetodene kan gi ulike utslag på en og samme indikator, og de forskjellige fagområdene har truffet svært forskjellige konklusjoner mht hva som er mest relevant for deres datasett. Utprøvingen bekrefter således at valg av analysevariableog – metoder må styres av erfaringer med dataene som skal revideres og utprøving av mulige valg.

Det er prosjektgruppas erfaring at det ikke er en nødvendig betingelse for å benytte systemet at en har innsikt i de statistiske metodene som er lagt til grunn for tverrgående revisjon. Jo mer kompetanse jo bedre selvfølgelig, men det vil ligge stor nytte i å etablere erfaring med tverrgående revisjon innen sittfagområde, bruke de forskjellige metoder og grenseverdier og vinne erfaring med hvor de ulike analysers relevans ligger for ulike fagområder og ulike indikatorer.

I tillegg til at avvikene viser tilbake til konkrete feil i grunnlagsdataene, f.eks et skjema, så er avvikene også et verktøy for feilsøking. Avvikene fra analysene gir et utgangspunkt for en videre vurdering avom disse bør følges opp eller ei, men denne vurderingen må baseres på faglig kunnskap både innen det enkelte fagområdet og på tvers av seksjonene.

I kapittel 5 oppsummeres prosjektgruppas erfaringer og dennes anbefalinger for oppfølging og videreutvikling av systemet for tverrgående revisjon.

Prosjektgruppas erfaringer med systemet som er utviklet er at det er brukervennlig, intuitivt forståelig og lett tilgjengelig. Det er et fullverdig system for gjennomføring av tverrgående revisjon, og prosjektgruppa mener å ha oppnådd mer enn hva vi i utgangspunktet trodde var mulig å få til innenfor de kriteriene som prosjektet var gitt. Resultatmålet er dermed (mer enn) oppnådd og det vil bli et viktig bidrag til å oppnå effektmålet om bedre pålitelighet i nøkkeltallene som publiseres i KOSTRA.

Forprosjektet anbefalte at revisjonen kunne skje i to trinn – noen grovkontroller som kjøres enten i eller rett etter mottaket, og mer detaljerte kontroller foretatt internt i SSB. Denne modellen stiller også prosjektgruppa seg bak. TR- løsningen dekker et behov for detaljerte kontroller internt i SSB, men uansett hvor bra denne løsningen blir, så skjer revisjonen sent i produksjonsprosessen i KOSTRA. For fagområder som ikke har skjemadata kan den være til dels ressurskrevende.

Prosjektgruppa mener at hvis tverrgående revisjon skal bli et fullstendig og relevant system for kvalitetssikring av KOSTRA i SSB, så må det utvikles revisjonsløsninger med mer automatisertekontroller som kan foretas på et tidspunkt som er nærmere rapporteringen i tid.

Løsningene som er utviklet er en første versjon av tverrgående revisjon. Det er viktig nå at det jobbes videre med tverrgående revisjon og prosjektgruppa har disse anbefalingene for det videre arbeidet:

• At det avklares nærmere hvilke adressater hos oppgavegiverne SSB bør forholde seg til, og atdet opprettes registre for disse som kan kobles til systemet

• At det fra SSBs side jobbes med informasjon og motivasjon overfor oppgavegiverne gjennomå rette oppmerksomheten mot samordning av datagrunnlag og statistikk fra ulike kilder også hos oppgavegiverne.

• At tilbakemeldingssystemet videreutvikles med mer automatisert funksjonalitet for internkommunikasjon og at det gjøres tilgjengelig for alle fagområder i KOSTRA (frikobles fraGenRev)

• At det legges opp til en koordinert oppfølging av tverrgående revisjon med deltakelse fra nødvendige kompetanseområder for å bidra til en felles erfaringsutveksling og kvalitetssikringav arbeidet.

• Mandatet for prosjektet har vært å etablere en første versjon av tverrgående revisjon ut fra eksisterende løsninger for revisjon, nøkkeltallsproduksjon og tilbakemelding. Det er viktig å følge opp utviklingen i IT-løsningene i KOSTRA slik at en funksjonalitet for tverrgående revisjon også ivaretas i fremtidige løsninger.