Tverrgående revisjon i KOSTRA

Denne rapporten tar for seg problemstillingene rundt tverrgående revisjon i KOSTRA, det vil si revisjon av nøkkeltall som inneholder tall fra ulike datakilder. Den tar for seg hele revisjonsprosessen fra å avdekke feil, foreslå kontroller, det interne kontaktsystemet i SSB og tilbakemeldingen til oppgavegiverne.

I innledningskapittelet beskrives bakgrunnen for prosjektet "Tverrgående revisjon i KOSTRA". Ønsket om en bedre revisjon av nøkkeltall som inneholder data fra ulike kilder har vært uttrykt mange ganger i løpet av de årene KOSTRA har eksistert som prosjekt og har vært i fullskala drift. Forskrift om rapportering fra kommuner og fylkeskommuner fastslår oppgavegivernes (her: kommunenes og fylkeskommunenes) ansvar mht. innrapportering av data med tilstrekkelig kvalitet. Samtidig har Statistisk sentralbyrå (SSB), i egenskap av offisiell statistikkprodusent, et selvstendig behov for å publisere data av tilstrekkelig kvalitet, for at tilliten til tallene holdes på et tilfredsstillende nivå. Likevel har man ikke kommet godt nok i mål med å innarbeide tverrgående revisjon som en del av rutinene i KOSTRA-arbeidet. Problemstillingen ble derfor satt på dagsorden ved et eget prosjekt i utviklingsprogrammet Prosjekt- og Teamarbeid (ProTeam) 2005 i SSB.

I kapittel 2 beskrives KOSTRA slik systemet er nå, som bakgrunn for hva vi hadde å forholde oss til mht. tverrgående revisjon. KOSTRA involverer mange personer og seksjoner i SSB, det involverer også mange aktører utenfor SSB (blant annet departementer, kommunene og fylkeskommunene). I KOSTRA organiseres opplysningene om kommunesektoren i faktaark for hvert enkelt område/hver kommunal oppgave. Faktaarkene består av nøkkeltall organisert under overskriftene "Prioritering", "Dekningsgrader", "Produktivitet" og "Utdypende tjenesteindikatorer". I en del av disse nøkkeltallene er teller og nevner satt sammen av data fra ulike kilder, dvs. fra tjenestedata, regnskapsdata, personelldata og befolkningsdata.

De ulike områdene har forskjellige måter å revidere data på, basert på hvordan de ulike datakildene kommer inn i KOSTRA-systemet. De som samler inn tjenestedata via KOSTRA-skjema har anledning til å bruke GenRev, de aller fleste får inn tjenestedata (og noe personelldata) på denne måten. Derfor blir også dette revisjonssystemet mest benyttet av fagseksjonene i revisjonen. Det er likevel noen få, større områder som får inn tjenestedata på andre måter og reviderer data på egne måter. Regnskapsdataene revideres også i et eget system, Kostra_koek.

For å teste ut gangen i revisjonen og de ulike revisjonssystemene, har vi forsøkt å gjennomføre en revisjon på tre av KOSTRA-områdene: VAR (avløp), tannhelse og videregående opplæring. De tre områdene inneholder forskjellige typer data, bruker ulike revisjonssystemer, og er på forskjellig nivå når det gjelder utviklingen av tverrgående kontroller. Ideen var å gjennomføre en full revisjon av noen av de tverrgående nøkkeltallene for 2004 for disse tre områdene. Det vil si fra analyse av nøkkeltallene, lage kontroller i revisjonssystemene, kjøre kontrollene, lete etter feil i de ulike datakildene/ kommunikasjonen internt i SSB mellom de ulike fagseksjonene som eier dataene, og tilbakemelding til/kommunikasjon med kommunene og fylkeskommunene. Vi benyttet SAS/Insight til å se nærmere på data, men også i selve utføringen av revisjonen, det vil si finne ut hvilke typer feil det finnes i datamaterialet, sette grenser for tillatte verdier på de enkelte nøkkeltallene og utvikle spesifikke kontroller. Selve dataanalysen ble gjennomført ved å benytte boksplott på nøkkeltallene og enkel ratemodell på bakgrunnstallene (teller og nevner). Ønsket var å utarbeide et sett av kontroller som vi kunne kjøre samtidig med den øvrige revisjonen i KOSTRA, det vil si som kunne kjøres i de revisjonssystemene som allerede benyttes av de ulike fagområdene. Etter kjøring av kontroller som ville generere feillister, planla vi å lete nærmere etter feil i de ulike datakildene (kommunikasjonen internt i SSB), samt til slutt ta kontakt med kommunene, på samme måte som gjøres for de valgte fagområdene i den øvrige revisjonen.

I kapittel 4 beskrives selve utføringen av prosjektet. Det viste seg at det ikke var så enkelt å få tak i data å jobbe med, dvs. hvor alle data som skulle analyseres var på samme format. For å analysere tall fra ulike datakilder sammen, måtte data ligge på samme format, og det gjør det ikke nå i KOSTRA før data er sammenstilt til publiseringsformål. Dette gjorde at prosjektet ble noe forsinket før vi kom i gang med analysen/gjennomføringen av revisjonen.

Dataanalysene av tverrgående nøkkeltall som ble publisert 15.03.05, gjorde at vi fant fire typer feil som vi kan kategorisere som følgende:

• manglende verdier
• verdien null i teller, men ikke i nevner - eller omvendt
• tusen-feil
• avvikende observasjon

I kapittel 4 gis det nærmere eksempler på hver av disse typene feil.

Etter at vi hadde analysert dataene og kommet fram til de ulike typene feil som eksisterte i datamaterialet, valgte vi nøkkeltall å jobbe videre med i revisjonen (dvs. benytte i hele revisjonsprosessen i de systemene som hver av områdene benyttet). Her støtte vi også på problemer. For områdene tannhelse og videregående opplæring ble kontrollene kjørt manuelt i SAS/Insight, mens for området VAR var det meningen å lage kontroller i GenRev som kunne kjøres sammen med den øvrige revisjonen på området. Det viste seg imidlertid at vi var avhengige av IT-ekspertise for å kunne lage kontrollene - og det var ikke avsatt slike ressurser til dette prosjektet. Vi kom fram til at det ville medføre en altfor stor jobb å gjennomføre en full tverrgående revisjon av VAR-dataene manuelt i dette prosjektet fordi dataene er på kommunenivå. Det betyr at feilleting/kommunikasjon internt i SSB, samt tilbakemeldingen til kommunene/fylkeskommunene ble utført på områdene tannhelse og videregående opplæring hvor data er på fylkesnivå.

Til slutt analyserte vi effekten av revisjon - dvs. har det noen hensikt å iverksette tverrgående revisjon, sett i forhold til ressursene som kreves? Vi kom her fram til at feil av typen verdien null i teller, men ikke i nevner - eller omvendt og avvikende verdier på tverrgående nøkkeltall ikke ser ut til å bli tilfredsstillende rettet opp i den ordinære revisjonen i SSB. Det ser heller ikke ut til å bli oppdaget (eller rettet opp) av kommunene selv, noe av dette kan skyldes at kommunene ikke vet hvordan de skal lete etter feil hvis de ser at tallene sine avviker, og må ha hjelp av SSB. Vår konklusjon her er at det er behov for tverrgående revisjon, for å rette oppmerksomheten mot de nøkkeltallene som består av data fra flere kilder. Det er nettopp disse tallene som ofte blir trukket fram. SSB bør sette inn ressurser på å ta disse feilene nå, slik at behovet for revisjon reduseres på lang sikt.

Siden vi ser stor nytte av revisjon av tverrgående nøkkeltall i KOSTRA, har vi i kapittel 5 satt opp en funksjonskravspesifikasjon for et system for tverrgående revisjon i KOSTRA. Dagens KOSTRAsystemer er til dels svært fragmenterte og laget for å løse spesifikke oppgaver som f.eks. mottak, revisjon og nøkkeltallsproduksjon. På revisjonssiden finnes det også flere systemer, f.eks. for data som kommer inn via KOSTRA-skjema og for regnskapsdata. Eksterne data blir mer eller mindre revidert utenfor systemene som er laget i KOSTRA-sammenheng. I et system som allerede er preget av høy arbeidsbelastning og korte tidsfrister, er det viktig at rutinene er mest mulig automatisert og samordnet med seksjonenes øvrige revisjon. Derfor bør de ulike systemene i KOSTRA samordnes i en mer homogen struktur.

Det er ønskelig at data fra ulike kilder kontrolleres mot hverandre så tidlig som mulig, helst i datamottaket eller like etter mottak. Dette kan muligens gjøres ved overgang til online rapportering. Kommunene kan da få automatiske tilbakemeldinger på det de har levert, og det kan gjøres en grovkontroll av innleverte data før første publisering. Uavhengig av online rapportering, eller at enkelte data ikke kan tas imot i mottaket på samme måte som resten av data, bør data fra ulike kilder uansett gjøres om til samme format - eller til formater som lar seg analysere/kontrollere sammen. Dermed kan feil i nøkkeltall som inneholder data fra ulike kilder oppdages og rettes så tidlig som mulig.

Selve revisjonssystemet i SSB bør i størst mulig grad kunne benyttes for alle typer data som publiseres i KOSTRA. Dette kan gjerne være en felles portal som kan løse mange KOSTRA-oppgaver, eller at de ulike systemene for bl.a. mottak, revisjon og publisering er tettere sammen-knyttet enn i dag. For revisjonsformål bør det være tilgang til nøkkeltallene på nivå 2, bakgrunns-tallene på nivå 3 og mer detaljerte tall der det er aktuelt (f.eks. regnskapsdata og individdata). Det er ønskelig at det er enkelt å kjøre statistiske analyser i revisjonssystemet, som grunnlag for å utvikle kontroller. Det bør være enkelt å utforme og kjøre selve kontrollene, slik at brukerne av systemet i minst mulig grad er avhengig av IT-hjelp for å kunne løse oppgaver innenfor systemet. Det vil også være arbeidsbesparende hvis beregninger (i nøkkeltall) kan gjenbrukes og kobles i alle trinn i revisjonsprosessen.

For de tverrgående nøkkeltallene må en kunne gjennomføre revisjonsprosessen i flere trinn: 1) manglende verdier, 2) verdien null i teller, men ikke i nevner - eller omvendt, 3) tusen-feil, og 4) avvikende observasjoner. Feillistene som kommer ut når disse kontrollene er kjørt, må genereres automatisk. De tverrgående kontrollene kjøres av fagansvarlig, sammen med de øvrige kontrollene som fagseksjonene kjører. Når kontrollene er kjørt må imidlertid hver av de som er ansvarlige for de ulike datakildene som inngår i nøkkeltallene kunne gå inn og sjekke nærmere hvor feilen eventuelt kan ligge. Slik kan interne feil gjort i SSB, samt opplagte feil i rapporteringen sjekkes ut. Tilbakemeldingen til kommunene bør kunne sendes ut automatisk per fagområde når feilletingen i SSB er gjort, til én e-postadresse for hver kommune. Den bør eventuelt kunne inneholde en mer detaljert beskrivelse av hva SSB antar er feil, eller hvordan kontrollen er beregnet, slik at det er lettere for kommunen å oppdage hva som er gjort feil. Når kommunen har gitt tilbakemelding om hva som skal rettes eller ikke rettes, bør tallene i revisjonssystemet oppdateres så raskt som mulig, slik at fagansvarlig sitter på de nyeste tallene.

I tillegg til en liste over kravspesifikasjoner til funksjonalitet i et helhetlig revisjonssystem i KOSTRA, beskriver vi i kap. 5.3 et forslag til hvordan man kan gjennomføre tverrgående revisjon ut fra eksisterende løsninger. Dette forslaget bygger på verdiene vi ser at GenRev har som system og ideen om å kunne gjøre tverrgående revisjon herfra. Dette krever at nøkkeltall og grunnlagsdata gjøres tilgjengelig i revisjonssystemet. Det er flere måter dette kan gjøres på, men vi ser for oss en løsning hvor data hentes fra KPD og formelsettet for nøkkeltallsberegning i Faktaarkadmin gir de ferdig beregnede nøkkeltallene og grunnlagsdataene vi trenger, og at disse overføres til GenRev. Revisjonssystemet inneholder da fagseksjonens egne rådata og rådata for regnskap, i tillegg til de ferdig beregnede nøkkeltallene. Statistiske analyser med SAS/Insight kan kjøres fra GenRev for å velge ut hvilke nøkkeltall, og hvilke kontroller som skal kjøres. Feil og avvik som kan rettes oppinternt i SSB direkte etter analysene, rettes og analysene kjøres på nytt. Deretter kan tverrgående kontroller programmeres, og statistiske analyser avgjør hvilke kommuner som får feilmelding.Seksjon for tjenestedata kommuniserer med seksjon for regnskap og/eller feilmeldingen (medkopi av beregningen) sendes til kommunen. Tilbakemelding fra kommunene følges opp ved at nye data mottas, eller gamle data bekreftes. Ved tilbakeføring av reviderte data til Kostra_exp, oppdateres nøkkeltallene i GenRev. Etter hvert som tall blir endret under revisjonen, vil kontroller med statstiske analyser slå ut forskjellig, med hensyn på hvilke kommuner som får feilmelding. Det er derfor viktig å ha gode rutiner for merking av hvem som allerede har fått tilsendt feillister og hvem som har bekreftet avvik, eller levert nye tall.

Andre anbefalinger som har betydning for revisjonen av tverrgående nøkkeltall, er at data som ikke kommer fra seksjoner som er involvert i KOSTRA (f.eks. befolkningsdata) bør kunne lastes inn på en mindre arbeidskrevende måte, slik at mer tid til revisjon kan frigjøres. Vi har også i vårt prosjekt sett at det er viktig at regnskapstall fra konsern inkluderes i nøkkeltallene, slik at manglende samsvar mellom populasjonen i teller og nevner av denne årsak, rettes før tverrgående revisjon kjøres.