Dokumentasjon - beregning av value added- indikatorer for Oslo kommune

En value added- indikator kan være nyttig i arbeidet med å evaluere skolens bidrag til elevenes læring, og har etter hvert blitt tatt i bruk i flere OECD-land som tilleggsinformasjon til elevenes skoleresultater (OECD 2008). Indikatoren gir en pekepinn på hvor stor betydning skolespesifikke faktorer har i elevenes resultatutvikling og kan på den måten brukes til å identifisere hvilke skoler som bidrar mye til elevenes læring. Spørsmål om hva som kjennetegner skoler som bidrar mye og hvorfor noen bidrar mer enn andre, må besvares ved hjelp av andre metoder og analyseverktøy. Sammen med annen informasjon om skolen kan imidlertid value added- indikatoren være et nyttig bidrag til skoleutvikling.

En value added- indikator kan tolkes som den resultatutviklingen vi forventer at en skole ville hatt dersom elevsammensetningen på skolen var gjennomsnittlig i forhold til de elevkjennetegnene som inkluderes i analysen. I motsetning til tverrsnittsindikatorer som kontrollerer for familiebakgrunnsvariabler, kontrollerer man for elevens tidligere resultater i beregningen av value added- indikatorer. Tidligere resultater kan i denne sammenhengen tolkes som elevenes kunnskaps- og ferdighetsnivå ved starten av måleperioden samt summen av uobserverte faktorer som f.eks. motivasjon, evner etc. (Hægeland m.fl. 2011).

De metodiske valgene i utviklingen av value added- indikatorene er hovedsakelig tatt med utgangspunkt i anbefalingene i rapporten til Hægeland m.fl. (2011). Vi har beregnet to sett med indikatorer; ett for mellomtrinnet og ett for ungdomstrinnet. Begge analysegrunnlagene baserer seg på data fra to årganger; 2013 og 2014. Det er kun offentlige skoler i Oslo kommune med minst 20 elevobservasjoner begge årgangene (der hver elev har minst ett prøveresultat) med i analysene. Det ble følgelig beregnet value added- indikatorer for 93 skoler på mellomtrinnet og 46 skoler på ungdomstrinnet.

I beregningen av indikatorene for mellomtrinnet benytter vi en regresjonsmodell hvor avhengig variabel er et sammenslått prøveresultat fra de tre nasjonale prøvene på 8. trinn; lesing, regning og engelsk, og hvor den viktigste kontrollvariabelen er resultatet fra de nasjonale prøvene på 5. trinn. For ungdomstrinnet benyttes skriftlig eksamenskarakter i matematikk, norsk hovedmål og engelsk som avhengig variabel, mens det (blant annet) kontrolleres for resultatet fra nasjonale prøver på 8.trinn.

I dette notatet blir indikatorverdien presentert som antall standardavvik fra gjennomsnittet- som er null. Indikatorer med negativt fortegn indikerer altså skoler som har et skolebidrag som ligger under gjennomsnittet for alle osloskoler, mens indikatorer over null har skolebidrag over snittet. Noen indikatorverdier ligger imidlertid såpass nær null, at vi ikke kan si at de er signifikant forskjellig fra gjennomsnittet. Indikatoren bør tolkes sammen med et estimat for usikkerhet.

De store linjene viser at det er relativt store forskjeller mellom skolene i Oslo når det gjelder resultater fra de nasjonale prøvene og eksamenskarakterer ved avsluttet grunnskole. Resultatene viser imidlertid at forskjellen mellom skolene er mindre når vi ser på det justerte skoleresultatet. Det er altså mindre forskjeller i skolebidraget enn det er i elevresultatet. Resultatene viser for øvrig at det er en positiv sammenheng mellom det justerte resultatet/skolebidraget og det ujusterte resultatet, der skoler med gode elevresultater også tenderer å ha et høyt skolebidrag. Sammenhengen er imidlertid ikke entydig, og det er flere eksempler på det motsatte, der skoler med lavt presterende elever har et høyt skolebidrag.