Hvordan utnytte store datamengder i KPI?

Beregningsmetodene som blir benyttet i de fleste lands konsumprisindekser, er utviklet i lys av såkalte faste varekurver der man følger prisene på de samme varene gjennom året. Vi har de siste årene beveget oss i retning av at butikkenes varesortiment og priser endres hyppigere enn før. Det skjer også stadige endringer i forbruksmønsteret, for eksempel ved at forbruket vris mot andre varianter av en vare eller andre merker. De siste tiårene har nyere datakilder, som blant annet strekkodedata, blitt mer tilgjengelig, og dette gjør det mulig å fange opp disse aspektene i større grad. Men da er ikke de tradisjonelle prisindeksmetodene lenger tilstrekkelige. Spørsmålet mange statistikkbyråer rundt omkring i verden stiller seg nå, er hvordan man skal beregne prisindekser basert på disse nye datakildene.

I denne artikkelen diskuteres alternative metoder for å beregne prisindekser basert på strekkodedata fra dagligvarekjedene, og vi ser nærmere på hvor store utslagene er ved valg av metode.

Fra papirskjema til strekkodedata

Priser til den norske KPI har tradisjonelt blitt samlet inn for et utvalg av varer og tjenester via spørreskjema. Fram til for noen få år siden ble opplysningene registrert på papirskjema, mens man nå konsekvent bruker webskjema via rapporteringskanalen Altinn.

I løpet av de siste tiårene har store datamengder gradvis blitt mer tilgjengelig. Per i dag utgjør nyere datakilder, slik som blant annet strekkodedata og prisdata nedlastet fra internett, omtrent halvparten av KPI. Strekkodedata er faktisk eneste datakilde for mat- og drikkevarer, apotekvarer og drivstoff, mens enkelte andre områder består av en kombinasjon av ulike kilder. Statistisk sentralbyrå (SSB) har som målsetting å redusere antall skjemaer til næringslivet, som i dette tilfellet betyr å satse på økt bruk av strekkodedata levert fra kjedenes hovedkontorer, i stedet for prisinnsamling via webskjema.

Endringer i vareutvalg og forbruksmønster

KPI måler i praksis prisutviklingen ved å følge prisene på de samme varene og tjenestene gjennom året. Vareutvalget oppdateres med nye varer og tjenester én gang per år, samt tilhørende vekter som reflekterer den betydning de har i utvalget. Denne tilnærmingen er vanlig praksis i de fleste lands konsumprisindekser. Vanligvis sammenlignes prisene i aktuell måned med prisene i en tidligere periode som ligger fast gjennom året, og som i norsk KPI er satt til desember året før.

Nå er det jo ikke slik at butikkenes varesortiment eller forbrukernes kjøpemønster ligger fast gjennom et helt år, spesielt ikke for klær, elektronikkvarer og lignende. Derimot beveger vi oss i retning av at prisene og selve vareutvalget i butikkene endres hyppigere enn før. Vareutvalget endres ved at varer går ut av sortimentet, og nye varer blir lansert. Samtidig endres forbruksmønsteret avhengig av blant annet vareutvalg, relative prisforskjeller og preferanser.

Fordelen med strekkodedata sammenlignet med skjemadata er at strekkodene inneholder informasjon om transaksjonspris for hele perioden, framfor hyllepriser på en gitt dato, samt antall omsatte enheter for mer eller mindre hele varespekteret. Dermed kan de i prinsippet fange opp kontinuerlige endringer i forbruksmønsteret og varespekteret, noe som vil gi mer presise prismålinger og dermed en indeks av bedre kvalitet. Da er det ikke lenger tilstrekkelig med en prisindeksmetode der oppdaterte vekter og nye varer bare innlemmes én gang per år.

Bruk av strekkodedata gir utfordringer

SSB har lang erfaring med bruk av strekkodedata i prisindeksen for matvarer og alkoholfrie drikkevarer i KPI. Likevel har utnyttelsen av slike data vært en gradvis prosess som har endret seg over tid, fra bare å erstatte prisinformasjon på utvalgte enkeltvarer til å bruke både informasjon om pris og antall solgte enheter for tilnærmet alle varer. Dermed har også prisindeksmetodene, som har blitt tatt i bruk i den norske KPI, blitt endret underveis.

I 2005 ble bruken av strekkodedata i indeksen for matvarer og alkoholfrie drikkevarer utvidet til å omfatte tilnærmet alle varer innenfor denne gruppen. Samtidig ble informasjon om varens omsetning tatt i bruk for å fange opp endringer i forbruksmønsteret fra måned til måned, se Rodriguez og Haraldsen (2005). Metoden som da ble tatt i bruk, benyttet omsetningsinformasjon fra to perioder. For å innlemme endringer i varekurv og vekter over tid må indeksene kjedes, det vil si at den nye indeksen som dekker den siste prisutviklingen, linkes på den tidligere. For å fange opp nye varer så tidlig som mulig var det naturlig å kjede indeksene månedlig, i motsetning til årlig som er tilstrekkelig med tradisjonelle beregningsmetoder.

Bruk av prisindekser som benytter oppdaterte vekter på detaljert nivå fra to perioder, har fram til de siste årene vært en anbefalt metode i henhold til internasjonale retningslinjer. Men over tid viste denne prisindeksen tegn til en bestemt form for skjevhet i form av at prisindeksen ikke vender tilbake til sitt utgangspunkt, til tross for at prisene gjør det, for eksempel etter en tilbudsperiode. En slik skjevhet kan oppstå dersom dataene viser store svingninger i pris og antall omsatte enheter kombinert med hyppig kjeding av prisindeksene. Et eksempel er situasjoner der man hamstrer varer når de er på tilbud, for så å lagre varene til senere perioder. Slik hamstring kan føre til at det tar noe tid før omsetningen normaliserer seg, og at indeksen dermed ikke vender tilbake til samme nivå som før salget, selv om prisene gjør det. For mer informasjon, se Johansen (2012).

Fra og med januar 2013 endret SSB metoden for beregning av matvareindeksen ved å gå bort fra bruk av omsetningsinformasjon for hver enkelt vare og over til å benytte et uveid geometrisk gjennomsnitt innenfor grupper som melk, ost og lignende. Omsetningsinformasjonen benyttes til å etablere et utvalg av varer med høy omsetning og utelate varer med lav omsetning. Denne beregningsmetoden er dermed ikke helt ulik den som benyttes for den tradisjonelle, faste varekurven, men er tilpasset store datamengder ved at man fanger opp et langt bredere varespekter, samt inkluderer nye varer på et tidligere tidspunkt. Dette er en tilnærming som foruten i Norge også benyttes i Nederland og Belgia, og som er i ferd med å tas i bruk i flere andre land. De fleste andre land som allerede bruker strekkodedata i sine konsumprisindekser, benytter dataene i mindre skala der man bare utnytter prisdataene for en begrenset varekurv.

Mye forskning på nye beregningsmetoder

Tradisjonelle prisindeksmetoder kjennetegnes ved at de bare benytter prisdata fra to perioder, såkalte bilaterale prisindekser. Hovedutfordringen med de tradisjonelle indeksmetodene er at man ikke klarer å fange opp endringer i varespekteret og forbruksmønsteret fra måned til måned, uten å skape systematiske skjevheter. For å minimere skjevheter i dagens metode for beregning av indekser basert på strekkodedata likeveies de ulike varene innenfor gitte grupper, det vil for eksempel si at alle typer melkevarer betyr like mye i beregningen av prisindeksen for melk. Dette er imidlertid ikke optimalt ettersom man da ikke fanger opp varenes relative betydning, og dermed får mindre nøyaktige mål på prisendringen som forbrukerne står overfor. En ledende forskningsretning er derfor prisindeksmetoder der man benytter prisdata fra flere enn to perioder, såkalte multilaterale indeksmetoder.

Multilaterale indeksmetoder stammer opprinnelig fra sammenligninger av prisnivåer mellom land. GEKS-metoden (Gini, 1931; Eltetö and Köves, 1964; og Szulc, 1964) og Geary-Khamis (GK) metoden (Geary, 1958; Khamis, 1972) er kjente eksempler på slike metoder (se tekstboks for mer informasjon). En viktig motivasjon ved de multilaterale metodene er at man forsøker å unngå systematiske skjevheter ved bruk av månedlig vektinformasjon på detaljert nivå, med andre ord at varenes betydning i varekurven og endringer fra måned til måned blir glattet ut over flere perioder. En måte å teste dette på er at man oppnår det samme resultatet uavhengig av om man beregner indekser i forhold til en fast periode, eller om indeksen kjedes månedlig.

Felles for de multilaterale metodene er at de utnytter prisopplysninger for flere enn to måneder for å beregne prisendringer. En direkte konsekvens er dermed at prisendringen mellom to perioder også avhenger av priser og vekter fra flere perioder, noe som kan gjøre metoden mindre gjennomsiktig og tydelig, og bidra til at endringsratene blir vanskeligere å tolke.

En viktig forskjell mellom de ulike multilaterale metodene som nå testes ut både her hjemme og internasjonalt, ligger i hvordan prisobservasjonene slås sammen til ulike grupper som eksempelvis melk eller ost. Indeksmetodene skiller seg også fra hverandre i måten dataene fra de ulike periodene utnyttes på.

Nye beregningsmetoder gir små forskjeller

SSB har testet ulike varianter av prisindekser som benytter prisdata fra flere perioder. Analyser er gjort med utgangpunkt i matvarer, som er et av de områdene i KPI som er best dekket av strekkodedata. I figur 1 er offisiell indeks for matvarer og alkoholfrie drikkevarer i KPI sammenlignet med ulike prisindekser som benytter prisdata fra flere enn to perioder, nærmere bestemt en variant av GK- og GEKS-metoden. Alle indeksene er beregnet ved å følge de samme varekodene over tid (se figur 1).

Selv om prisindeksene bygges opp nokså ulikt, er det relativt små forskjeller mellom indeksseriene i perioden som er undersøkt. Dette til tross for at prisindeksene basert på GK- og GEKS-metoden benytter vektinformasjon for å slå sammen varene til grupper, mens alle varene innenfor en gitt gruppe teller likt i den offisielle indeksen. En mulig årsak til at de ulike metodene viser små forskjeller for matvarer og alkoholfrie drikkevarer, er at varespekteret er relativt stabilt over tid. Det er ikke dermed sagt at det samme gjelder for andre typer varer.

Ingen internasjonal enighet om metode

Internasjonalt testes det også mye på multilaterale metoder, men fortsatt er det svært få land som har tatt disse metodene i bruk i sine offisielle konsumprisindekser. Bare Nederland og New Zealand har tatt i bruk slike metoder for noen få grupper.

Til tross for mye oppmerksomhet rundt multilaterale indekser foreligger det i dag ingen klar internasjonal enighet om hvilken multilateral metode som er best å bruke når man skal lage prisindekser basert på strekkodedata. Det er heller ikke klart om bilaterale indekser ikke kan brukes framover, gitt at man klarer å finne passende indeksformler.

En utfordring man står overfor er at nyere prisindeksmetoder kan bryte med eksisterende lovverk. Harmonisert konsumprisindeks (HKPI), som lages for internasjonale sammenligninger av prisutviklingen mellom europeiske land, er lovregulert via det europeiske statistikkbyrået, Eurostat. HKPI har et regelverk som går nesten 20 år tilbake i tid. For eksempel diskuteres det nå i Eurostat i hvilken grad multilaterale prisindeksmetoder er i tråd med dette lovverket.

Nye krav til gruppering av varer

Multilaterale prisindeksmetoder løser noen av utfordringene knyttet til å beregne prisindekser basert på strekkodedata, spesielt med hensyn til å innlemme endringer i forbruksmønsteret fra måned til måned, uten at det fører til systematiske skjevheter. Selve formlene løser imidlertid ikke problemene knyttet til endringer i varespekteret. Det er viktig å fange opp nye varer som introduseres på markedet, til rett tid, samt fange opp den prisendringen som oppstår når nye varer erstatter utgåtte. Ved å følge de detaljerte varekodene over tid vil man ikke kunne fange opp en eventuell prisendring mellom gammel og ny varekode. Endringer, for eksempel i varenes innpakning, resulterer ofte i en ny varekode, til tross for at innholdet er uendret. Dermed kan varekodene, fra et statistisk ståsted, i visse tilfeller være for detaljerte.

Denne metoden fungerer likevel bra for matvarer fordi de fleste varene har relativt lang levetid. For en del andre varer med kortere levetid og større prissvingninger er denne tilnærmingen mindre egnet. Et eksempel på det er klær, der prisene er preget av tydelige sesongmessige svingninger. Mot slutten av sesongen selges ofte varene ut til lavere pris før ny kolleksjon kommer inn. I mange tilfeller er de nye varene av tilnærmet samme kvalitet som de utgåtte, men tilbys for eksempel i en annen farge. Det resulterer som oftest i en ny varekode, og dermed fanges ikke prisendringen (prisoppgang i dette eksempelet) mellom gammel og ny vare opp.

I KPI-sammenheng kan prisendringer forårsaket av at varer utgår og nye kommer til, beregnes ved hjelp av hedoniske metoder, der man utnytter sammenhenger mellom varens pris og kjennetegn ved varen. Utfordringen med de hedoniske metodene er at i de aller fleste tilfeller er omfanget av vareinformasjon begrenset. En mer praktisk løsning er sannsynligvis å etablere detaljerte varegrupper basert på den informasjonen man har, for eksempel «NORVEGIA 27% 1 KG» som er mer detaljert enn for eksempel «OST». Målet er å oppnå grupper av like varer som gir tilnærmet samme nytte for forbrukerne, og som dermed kan anses som ombyttbare.

Ved å lage gruppene for snevre risikerer man skjevhet som følge av å gå glipp av vareerstatning. Endringer i vareutvalget kan påvirke indeksen systematisk ettersom erstatningsvarer ofte får en høyere pris enn de varene som går ut, som i eksempelet med klær over. For vide varegrupper kan derimot føre til skjevhet som skyldes at man ikke sammenligner «likt med likt». I praksis står vi dermed overfor en utfordring knyttet til å finne en best mulig balanse mellom disse hensynene.

Klassifisering av varer i detaljerte varegrupper er en av hovedutfordringene man står ovenfor ettersom tilfredsstillende informasjon om varene sjelden er tilgjengelig i de månedlige dataene SSB mottar. Vanligvis er bare en kort varetekst og varekode tilgjengelig. Ettersom vareteksten ofte består av en kombinasjon av ulik informasjon – som for eksempel merke og/eller størrelse – og i varierende grad er utfylt, kan det være vanskelig å nyttiggjøre seg denne informasjonen direkte. Ved hjelp av ulike teknikker tester vi nå ut mulighetene for å danne slike varegrupper automatisert ved å se på likheter i varetekster og koder.

Indekser basert på detaljerte varegrupper

I figur 2 er offisiell indeks for matvarer og alkoholfrie drikkevarer i KPI sammenlignet med en variant av GK- og GEKS-metoden som er basert på detaljerte varegrupper. Varegruppene er etablert automatisk ved å se på likheter i varekoder og varetekstene. Prisindeksene, med unntak av offisiell indeks, er beregnet ved å følge varegrupper over tid.

Figur 2 viser at det ikke er store forskjeller mellom den offisielle indeksen for matvarer og alkoholfrie drikkevarer og de alternative prisindeksseriene. Det er også små forskjeller i både GK- og GEKS-metoden om vi aggregerer dataene til varegrupper i stedet for å følge varekoder, slik som i figur 1. De små forskjellene mellom seriene indikerer at det i dagens offisielle prisindeks ikke er tegn til systematiske skjevheter, som er forårsaket av at eventuelle prisendringer som oppstår når nye varer erstatter utgåtte, ikke fanges opp. Dette vil naturligvis ha sammenheng med hvordan vi har definert varegruppene som her er definert nokså smalt.

Om vi ser på prisutviklingen i perioden desember 2014–desember 2016 på et langt mer detaljert nivå, ser vi at avvikene mellom seriene blir noe større enn om vi ser på matvarer og alkoholfrie drikkevarer samlet. Det ser imidlertid ikke ut til å være noen klar systematikk i hvordan seriene legger seg i forhold til hverandre.

Hvordan avgjøre hvilken metode som er best

Strekkodedata gjør det mulig å fange opp endringer i varespekteret og forbruksmønsteret fortløpende. Men dette stiller krav til bruk av alternative prisindeksmetoder framfor de tradisjonelle. Det foreligger foreløpig ikke noen internasjonal enighet om hvilken metode som er best egnet til beregning av prisindekser basert på slike data. Dette er et pågående arbeid både i Norge og internasjonalt. For matvarer er ikke effekten av de ulike metodene særlig stor. Men for å kunne nyttiggjøre oss av strekkodedata for varer med kortere levetid og større prissvingninger enn matvarer, som for eksempel klær og elektronikk, er det avgjørende at vi klarer å ta i bruk nyere beregningsmetoder.

Selv om metodene som er diskutert i denne artikkelen, går inn under paraplyen multilaterale metoder, utnyttes dataene på nokså ulike måter, og det er ikke enkelt å skulle avgjøre hvilken metode som er best egnet. Det er likevel mulig å sette opp et sett av kriterier som de ulike metodene kan måles opp mot. Arbeidet er i gang med å få på plass et rammeverk som kan gjøre det lettere å evaluere de ulike metodene opp mot hverandre – både teoretisk og empirisk.

Viktige kriterier er allerede nevnt, slik som evnen til å fange opp endringer i varespekteret. Metoden må kunne fungere på tvers av ulike typer varer, og den må kunne utnytte omsetningsinformasjon uten å skape systematiske skjevheter. Andre viktige krav til metoden er at den er effektiv og håndterer praktiske utfordringer på en lite ressurskrevende måte. Det er også viktig at det tas hensyn til eksisterende lovverk i form av forordninger knyttet til utarbeidelsen av HKPI, samt at metoden er klar og tydelig og relativt enkel å kommunisere til brukere. Ved evaluering av metodene blir det, foruten disse kriteriene, viktig å vurdere empirisk hvordan de ulike metodene opptrer i forhold til hverandre. Sammenligninger som er gjort til nå, er bare basert på data fra matvareindeksen. Tilsvarende analyser for andre typer varer er påbegynt, og resultatet av dette vil være viktig for å kunne konkludere om bruk av nye beregningsmetoder i KPI.