Vedlegg 1
Lovende praksis og modeller fra andre land
Vårt forslag til en investeringsinstruks er blant annet basert på modeller utviklet i andre land. USAIDs Development Innovation Venture (DIV) har en modell basert på systematisk testing av pilotprosjekter gjennom tre steg: (1) pilot, (2) testing og effektevaluering, og (3) skalering til nye befolkninger og kontekster.
Spesielt relevant for rammeverket vi introduserer her, er at DIV bygger sin modell på en metode for å vurdere avkastningen av investeringen. Her benytter DIV konseptet «social rate of return» (SROR), eller sosial nytte-kostnad-rate, som er utviklet for å vurdere avkastningen på en utviklingsinvestering.151 DIV regner om samfunnsnytten til pengeverdi for å gi en felles enhet (for et alternativ se boks om levekårsjusterte leveår, DALY, under) på tvers av tema og sektorer. Metoden er ment å gi en mer komplett og helhetlig vurdering av sosiale investeringers avkastning enn tradisjonelle økonomiske metoder, som samfunnsøkonomisk avkastning (nåverdi), da den i tillegg til økonomiske effekter av investeringer også inkluderer sosiale og miljøeffekter (direkte og indirekte virkninger).
Ikke alle prosjekter gir gode data eller grunnlag for å estimere resultater. Isteden bruker DIV en porteføljetilnærming hvor de antar at det er stor skjevhet i resultatoppnåelse og derfor bruker best tilgjengelig kunnskap for å få et nedre anslag for avkastning for hele porteføljen. For prosjekter som ikke har blitt eller skal/kan evalueres for avkastning, bruker de eksisterende kunnskap.152 Vi mener metoder som dette, bør brukes som del av investeringsinstruksen for norsk utviklingspolitikk.
Mer generelt er det vesentlige her bruken av en målestokk, eller det som vel ofte kalles en «benchmark» også på norsk, for å eksplisitt kunne holde programmer og tiltak opp mot hverandre og prioritere mellom disse (se boks under). Eksplisitt bruk av målestokk er uvanlig i norsk utviklingspolitikk. Investeringsinstruksen vi foreslår her vil fordre utstrakt bruk av denne metodikken.
Mer bruk av metoder for å beregne avkastning av porteføljer er et viktig virkemiddel for å sikre at vi gjør de riktige tingene, men det gir ikke tilstrekkelig informasjon på om vi gjør tingene rett. Et sentralt neste steg er derfor å sikre at gjennomføring av programmer og tiltak, porteføljer, blir gjort på en måte som tillater hensiktsmessig eksperimentering, justering og læring underveis for å optimalisere og maksimerer effekten av tiltaket.153
En spesielt lovende modell er her utviklet av Verdensbankens kontor for utviklingseffekt, DIME, som de kaller «trial and adopt». I all sin enkelhet innebærer modellen at DIME jobber i tett samarbeid med partnere for sette opp gjennomføringen på en måte som tillater skrittvis eksperimentering underveis. Her benytter Verdensbanken seg av fler-armede kontrollerte eksperimenter, som minner i stor grad om såkalt «step wedged» gjennomføring som i økende grad nå bli brukt innen global helse som en standard metode å sikre effekt.
Verdensbanken har testet ut denne fremgangsmåten på en lang rekke prosjekter og kan vise til betydelige effekter. For et prosjekt som skulle forbedre kloakk- og avløpssystemet i Indonesia oppnådde de gjennom eksperimentering og skalering en 30 prosents nedgang i diaré og forhindret tap av nesten 20 000 leveår justert for funksjonsnedsetting (DALY), uten å øke budsjettet. Videre, et prosjekt i India som skulle bidra til klimatilpasning ved å finansiere regn-forsikring, viste seg å ikke ha særlig effekt i det hele tatt, og ble stengt ned mens det fortsatt ble testet ut. På tvers av prosjektene DIME har testet dette ut på, mener de å ha funnet ved å gjøre en moderat investering i kunnskap i programmet, rundt én prosent av prosjektkostnaden, kan effekten i snitt økes med så mye som 50 prosent, innen samme budsjett. Dette er modeller som bør vurderes for å øke effekten av både Norges og utviklingsbankenes investeringer.
Boks 8.1 Benchmarking, «best in class» og skåring
En utpreget holistisk tilnærming til utvikling har ofte forhindret en mer utstrakt bruk av såkalt «benchmark» – en standard for å måle innsatser og tiltak opp mot («standard against which to judge if assistance is well spent»). Bruk av «benchmark» er likevel et spørsmål som stadig oftere reises (blant annet av store givere som USA), spesielt i lys av forskningen om kontantoverføringer, som viser at metodikken har effekt på langt flere mål enn kun fattigdomsreduksjon. Det er imidlertid vanskelig å sette én standard som alle innsatser opp mot bærekraftsmålene kan måles opp mot, selv om det finnes enkeltinnsatser og tiltak som ser ut til å ha gode effekter på tvers av mål og på kort og mellomlang sikt, slik som for eksempel kontantoverføringer. Kompleksiteten i bærekraftsagendaen gjør at vi heller bør bruke en «best i klassen»-tilnærming til effektivitet.
Når det gjelder informasjon om tidligere resultater, har vi i dag liten grad av systematikk, kvalitetssikring eller sammenlikning. Dette gjelder ikke bare Norge. og det finnes ingen internasjonal database med lett tilgjengelig informasjon hva gjelder effektevalueringer, kostnader og resultater av myriadene av tiltak innen internasjonalt utviklingssamarbeid. Én mulighet for å styrke oversikt og læring, er bruk av skåring. Ved å sette en skår for hver vurdering av hvert bistandstiltak, får man en umiddelbar oppsummering av vurderingen.
Det dreier seg ofte om å finne en eller flere fellesnevnere – egenskaper eller karakteristika ved resultatene som gjør det lettere å sammenlikne dem. Det er avgjørende at vurderingen er tilgjengelig, så man kan forstå hvorfor skåren er som den er. Skåren er nødvendig for å aggregere. Skåring gir en rask oversikt og gir en indikasjon på fremdrift for en hel portefølje. Den svarer ut økonomireglementets krav om å si noe om graden av måloppnåelse. Det kan reises flere motforestillinger, men metodikken tilfører tydeligere retningslinjer, rammer og en systematikk til vurderinger som uansett er skjønnsmessige hos saksbehandler. Det foreligger allerede en metodikk for dette i dag, men den er ikke tatt i bruk (av 4104 bistandsavtaler mellom 2019 og 2021 foreligger det en resultatvurdering og skåring av kun 151 prosjekter). Ulike land og kontekster vanskeliggjør også benchmark eller «universell skåring». Én mulighet er derfor å ta et utvalg av bærekraftsmål og deres indikatorer og se dette i lys av hvert lands egen progresjon. Dette vil i det minste måle lands progresjon mot egne satte benchmarks.
Boks 8.2 Disability adjusted life years og samfunnsøkonomisk avkastning
«Disability Adjusted Life Years» (DALY) er en måleenhet som brukes for å evaluere sykdomsbyrden i en befolkning. DALY ble utviklet av Verdens helseorganisasjon (WHO) som en måte å kvantifisere både dødelighet og uførhet som følge av sykdom.
DALY beregnes ved å kombinere to hovedkomponenter: tidlig død og tap av friske leveår som følge av funksjonsnedsettelse. DALY er dermed et mål på tapet av helsetilstand og levetid i en befolkning, og kan brukes til å sammenligne byrden av ulike sykdommer og helseproblemer.
DALY er en nyttig måleenhet for å hjelpe beslutningstakere med å prioritere helseressurser og sette mål for helseforbedring. Ved å estimere den totale sykdomsbyrden i en befolkning, kan DALY brukes for å identifisere de største helseutfordringene og for å prioritere effektive tiltak for å redusere sykdomsbyrden. DALY kan også brukes til å evaluere effekten av helseinngrep og behandlinger. Ved å sammenligne DALY-tall før og etter gjenomføring av en bestemt intervensjon.
DALY har flere begrensninger. For eksempel kan det være vanskelig å sammenligne DALY-tall mellom ulike land og regioner på grunn av forskjeller i helsesystemer og datakvalitet. Likevel er DALY en verdifull måleenhet som kan bidra til å informere beslutningstakingen og prioritere ressurser for å redusere sykdomsbyrden og forbedre helsen til befolkningen.
Samfunnsøkonomisk avkastning
Amerikanske Millennium Challenge Corporation (MCC) gir bistand til utviklingsland for å fremme økonomisk vekst og redusere fattigdom. MCC skiller seg fra andre bilaterale donorer i den meget eksplisitte bruken av samfunnsøkonomisk avkastning, eller «Economic Rate of Return» (ERR) for å vurdere prosjekter og fatte avgjørelser.
ERR er et verktøy for å måle avkastningen av en investering sett opp mot de totale kostnadene. Det tar hensyn til både inntekter og utgifter over en viss tidsperiode og beregner en prosentandel som indikerer hvor mye avkastning en investering vil generere for hver USD som investeres. MCC forventer en ERR på minst 10 prosent for å gjøre investeringer.
MCC vurderer også andre faktorer som miljøpåvirkning og sosial innvirkning, men ERR er en viktig faktor i beslutningsprosessen.
ERR gjør det mulig å kvantifisere forventet avkastning på en investering og gir beslutningstakere en klar og objektiv måte å sammenligne forskjellige investeringsalternativer på. Dette bidrar til å sikre at MCC investerer i prosjekter som har størst potensial for å bidra til økonomisk vekst og fattigdomsreduksjon i mottakerlandene.
MCC bruker også ERR til å evaluere suksessen til investeringer etter at de er gjennomført. Dette gir en måte å måle effektiviteten av investeringene og justere fremtidige investeringsbeslutninger i samsvar med resultatene.