4 Måling med mening

4.1 Om måling av innsats, resultater og effekter

Et velfungerende forskningssystem skal bidra med ny kunnskap, vedlikehold av eksisterende kunnskap samt sørge for at kunnskap tas i bruk av andre forskere og av samfunnet. Det er også et mål at forskningens resultater skal utnyttes mer effektivt. Både internasjonalt og i Norge ønsker bevilgende myndigheter å kunne sannsynliggjøre at forskningen de finansierer har ønskede effekter, ikke minst i form av samfunnseffekter. I Norge har myndighetene uttrykt at de ønsker å flytte fokus fra ressursbruk i forskning til resultater av forskning og hvilke effekter disse har på samfunnet.

Måling av forskningssystemets resultater og effekter er krevende. Kapittel 4.1 gjennomgår ulike problemstillinger med bakgrunn i internasjonal litteratur og praksis på området. Arbeidet internasjonalt er kommet kort når det gjelder å vurdere samfunnseffektene av forskningsinnsatsen på en systematisk måte. Derimot foreligger det studier som ser på effektene av forskningsinnsatsen på avgrensede områder.

Ut fra forståelsen av et velfungerende forskningssystem og vurderinger av tilgjengelige data, foreslår utvalget at det opprettes et forskningsbarometer. Formålet er å styrke kunnskapsgrunnlaget for å få fram hvordan norsk forskning presterer, både sammenlignet med andre land og mellom norske institusjoner. Barometeret skal være et verktøy for aktører på ulike nivåer i systemet, fra den enkelte forsker og forskningsgruppe til forskningsministeren. Det skal kunne brukes til dokumentasjon av resultater, bidra til bedre mål- og resultatstyring og være til hjelp i videre utvikling av resultatbaserte finansieringssystemer. Kapittel 4.2 presenterer forslaget til et forskningsbarometer med indikatorer og resultater. Resultatene brukes i den videre analysen.

Kapittel 4.3 oppsummerer utvalgets vurderinger og forslag til tiltak.

4.1.1 Fra måling av innsats til måling av resultater

Et godt kunnskapsgrunnlag for måling av innsats og resultater og hvilke effekter ressursinnsatsen har på samfunnet, er nødvendig for å kunne vurdere om det er samsvar mellom ressurser og resultater. Kunnskapsgrunnlaget for å vurdere effektene fra offentlig finansiert forskning omfatter en rekke ulike kilder, fra nasjonalt og internasjonalt indikatorarbeid, evalueringer og forskning. Kildene spenner fra bibliometriske studier, som utelukkende ser på forskningsresultater i form av publikasjoner, til forskning på samfunnseffekter, som for eksempel økonomisk vekst og helsegevinster.

Forskningsinnsats er lettere å måle enn forskningsresultater. Da man begynte med måling av forskning for et halvt århundre siden, var det derfor først og fremst innsatsen man konsentrerte seg om. Selv om det fortsatt er en rekke utfordringer knyttet til datagrunnlaget på dette området, finnes det i dag en internasjonalt akseptert måte å måle ressursinnsatsen på. Utvalget har basert seg på de internasjonalt aksepterte reglene for måling av utgifter til FoU som OECD har utformet og som anvendes både i Norge og andre land, jf. boks 4.1 og nærmere omtale i 4.2.1.

I løpet av de senere årene er både Norge og andre land blitt mer opptatt av å måle resultatene av den offentlige ressursinnsatsen i forskning, men det eksisterer ikke på samme måte internasjonal aksept for hvordan dette gjøres.

Forskningsresultater kan ta ulike former, som for eksempel i utøvende kunst, musikk og arkitektur. Det er tvilsomt om man kan konstruere et målesystem som fanger opp alle sider ved forskningsproduksjonen. Men i mesteparten av forskningssystemet er den dominerende produksjonsmåten skriftlige arbeider i tidsskrifter, bøker (monografier) og artikler i redigerte bøker. I Norge er det i løpet av de senere årene bygget opp et bredt registreringssystem for vitenskapelig publisering (se kapittel 4.2.1). Tilsvarende systemer finnes ikke i samme grad i andre land. Ved internasjonale sammenligninger vil man derfor som regel være henvist til å bruke kommersielle databaser for tidsskriftpublisering. Siden publisering i tidsskrifter varierer mye mellom ulike fag, er det viktig å ta hensyn til dette når man skal sammenligne.

Akademisk orientert forskning foregår innenfor et system som kan kalles «selvstyrt» i betydningen at resultatene i hovedsak evalueres gjennom kollegiale systemer. Forskersamfunnet har over lang tid utviklet egne kriterier for evalueringer basert på faglige kriterier. Typiske eksempler er fagfellevurderinger i tidsskrift eller forlagenes konsulentuttalelser når det gjelder publisering av monografier. Store deler av offentlig finansiert forskning i Norge blir følgelig jevnlig evaluert av forskersamfunnet selv, og den enkelte forskers karriere er i stor grad basert på dette. Det er stor enighet om at dette er et verdifullt trekk ved forskningssystemet. Etter utvalgets vurdering er det derfor naturlig at resultater fra forskersamfunnets eget evalueringssystem spiller en viktig rolle når man skal forsøke å måle forskning. Når man skal måle innsats og resultater, er det avgjørende at målingen er åpen, transparent og har legitimitet i forskningssystemet selv.

Det er i hovedsak gjennom bruken av resultatene at forskning blir nyttig for samfunnet. Et viktig mål for utvalgets arbeid, slik det også uttrykkes i mandatet, har derfor vært å supplere tradisjonelle, innsatsbaserte metoder med indikatorer som bedre reflekterer forskningsproduksjon og bruk av forskning. Ny kunnskap står på skuldrene til den eksisterende, og derfor er forskersamfunnets egen bruk av eksisterende kunnskap i jakten på ny innsikt viktig. Slik bruk finnes det egnede data for, først og fremst gjennom siteringer av forskningsbidrag i vitenskapelige tidsskrifter. Siteringer reflekterer først og fremst det gjennomslaget et arbeid har i forskersamfunnet. En omtale av bibliometriske datakilder gis i kapittel 4.2.1.

Forskernes egen bruk av forskning i produksjonen av ny kunnskap er imidlertid som påpekt foran bare én av mange bruksformer forskning kan ha. Offentlig finansiert forskning brukes også i mange andre sammenhenger i offentlig og privat virksomhet, fra utdanning via helse til næringsvirksomhet. Siden mye av begrunnelsen for offentlig forskningsfinansiering ligger i det bidraget som forskningen gir til løsninger av et bredt felt av samfunnsoppgaver, er det viktig – ikke minst for framtidig politikkutforming – å få bedre innsikt i disse sammenhengene.

Boks 4.2 er basert på arbeid ved OECD1 og lister opp noen utfordringer ved å måle effektene av offentlig finansiert forskning. I mange land og internasjonale organisasjoner arbeides det med disse problemstillingene, og det foregår en betydelig forsknings- og utredningsaktivitet om temaet. I 2010 presenterte OECD sin innovasjonsstrategi. Strategien gir en bred analyse av politikkutvikling og kunnskapsgrunnlag for innovasjonspolitikken, og den drøfter og dokumenterer status for arbeidet med forsknings- og innovasjonsindikatorer.2 Strategien bruker eksisterende datakilder, til dels på utradisjonelle måter, for å få fram bl.a. forskningens betydning på ulike samfunnsområder. Samtidig utfordres det måle- og indikatorregimet vi så langt har basert oss på. Forståelsen av forholdet mellom de ulike innsatsfaktorene og deres økonomiske og sosiale konsekvenser trekkes fram som en spesiell utfordring. Både den teoretiske forståelsen og datagrunnlaget er, ifølge OECD, utilstrekkelig. OECD peker derfor på utviklingsbehov og skisserer en dagsorden for framtidig utvikling av bedre indikatorer for å forstå sammenhenger i forsknings- og innovasjonssystemet.

Europakommisjonen arbeider også aktivt for å utvikle bedre indikatorer på dette området. Sentralt i EU står nå arbeidet med å lage «politiske indikatorer» som skal måle utviklingen i det europeiske forsknings- og innovasjonssamarbeidet og særlig det europeiske forskningsområdet og EUs nye «Europa 2020-strategi». Arbeidet omfatter både overordnede indikatorer knyttet til 3 %-målet og et sett kjerneindikatorer for forskning og innovasjon.3

EU finansierer også en rekke prosjekter som har som formål å utvikle bedre metoder for å sammenligne universiteter og høyskoler. Et slikt prosjekt er U-Multirank som startet opp i 2009 og som gjennomføres av CHERPA-nettverket.Prosjektet tar utgangspunkt i at det er et økende behov for bedre sammenligninger av høyere utdanningsinstitusjoner og forskningssystemer på tvers av nasjonale grenser. Det legges stor vekt på betydningen av at systemer for måling utformes slik at de får legitimitet blant de som berøres, og det anbefales at forskerne og institusjonene blir inkludert i utformingen av systemene. Videre pekes det på at målemetodene må være transparente og at indikatorene må oppleves som relevante. I en foreløpig rapport gjennomgås eksisterende rangeringer og datagrunnlag, og det legges fram forslag til dimensjoner og indikatorer som i større grad kan fange opp mangfoldet og gi grunnlag for bedre internasjonale sammenligninger.4

Også andre land har iverksatt programmer som skal styrke kunnskapsgrunnlaget for å forstå forskningens rolle i innovasjonssystemet, som grunnlag for og i politikkutforming og for å måle samfunnseffekter. I 2009 ble prosjektet «STAR METRICS» etablert i USA som et samarbeid mellom Office of Science and Technology Policy, National Science Foundation og National Institute of Health.5 I en første fase har prosjektet konsentrert seg om å utvikle et datagrunnlag for måling av direkte effekter av forskning. I neste fase er det forventet at prosjektet vil fokusere på mer indirekte effekter, som forskningsbasert kunnskap, samfunnseffekter, økonomisk vekst og sysselsetting.

Også i Norge foregår det relevant forskning og utvikling på disse områdene. Det handlingsrettede forskningsprogrammet FORFI (2010-14) skal bidra til å styrke kunnskapsgrunnlaget for forsknings- og innovasjonspolitikken. Programmet dekker temaer som forskningspolitiske strategier og prioriteringer, ledelse i universitets- og høyskolesektoren, internasjonalisering og måling av resultater og effekter av offentlig forskningsinnsats. Programmet er et handlingsrettet program, som i liten grad ivaretar behovet for langsiktig kunnskapsutvikling på området, og det bidrar ikke til rekruttering av doktorgradskandidater.

Evaluering av forskning

Evalueringer er en viktig kilde til kunnskapsgrunnlaget for å vurdere effektene fra offentlig finansiert forskning. I tillegg til indikatorer, bygger ofte evalueringer på mer kvalitative vurderinger, for eksempel gjennom bruk av fagfellevurderinger. Også innenfor evalueringsområdet foregår det et aktivt utviklingsarbeid internasjonalt bl.a. med hensyn til hvordan evalueringer bedre kan ta hensyn til endringer i forskningsinstitusjonenes oppgaver og deres evne til å tilpasse seg og møte disse. Evalueringer ser både på enkelte offentlige virkemidler og institusjoner og på hele eller deler av forsknings- og innovasjonssystemet.6

I Norge brukes evalueringer aktivt som redskap for å utvikle kunnskapsgrunnlaget for forskningspolitikken. En del av disse evalueringene er også brukt som grunnlag for utvalgets arbeid. Det gjelder blant annet evalueringene av Skattefunn og brukerstyrte innovasjonsprosjekter (jf. kapittel 4.1.6) og Forskningsrådets fagevalueringer (jf. boks 4.3). Den forestående evalueringen av Forskningsrådet er et eksempel på en evaluering som i større grad har et systemperspektiv. Utvalget har ikke foretatt selvstendige vurderinger av de enkelte evalueringene eller måter evalueringer brukes på til å utvikle kunnskapsgrunnlaget i Norge.

4.1.2 Om forskningens samfunnseffekter

Forskning og utdanning skal bidra til at eksisterende kunnskap og ny viten kan tas i bruk for å løse viktige oppgaver i samfunns- og næringsliv. I siste instans er det derfor effektene på samfunns- og næringsliv vi bør være opptatt av når vi skal vurdere om forskningssystemet er velfungerende. Figur 4.1 illustrerer problemstillingen. Veien fra finansiering av forskning til samfunnseffekter er lang, og det er vanskelig å identifisere sammenhengene. I det følgende ser vi nærmere på forsøk på å måle samfunnseffektene av forskning.

Forskningsresultater er delvis fellesgoder og delvis privatgoder. Med fellesgoder mener vi goder hvor en persons bruk av et gode ikke reduserer andre personers mulighet til å bruke det samme godet. I tillegg vil mange definisjoner trekke fram at et fellesgode er ikke-ekskluderbart, det vil si at det er vanskelig eller umulig å hindre noen fra å bruke godet. Grunnforskning er et klassisk eksempel på et fellesgode som mange nyter godt av, men få eller ingen private aktører er villige til å betale for. Derfor regnes dette i alle land som en oppgave for samfunnet som helhet.

Private aktører har som regel tilstrekkelige insentiver til å produsere rene privatgoder. Hvis forskningen i et foretak gir resultater som foretaket selv kan høste hele gevinsten av, er det ingen grunn til offentlig støtte. Men hvis en vesentlig del av forskningsprosjektets verdi tilfaller andre som ikke er med på å bære kostnadene, vil foretaket som utfører prosjektet undervurdere den samfunnsmessige gevinsten av prosjektet. Mange slike prosjekter vil derfor ikke bli gjennomført, selv om verdien for samfunnet kan være langt høyere enn kostnaden. Å gi offentlig støtte til slike prosjekter kan øke den privatøkonomiske lønnsomheten av prosjektet slik at flere samfunnsmessig lønnsomme prosjekter blir gjennomført.

Det foreligger en stor internasjonal litteratur som forsøker å beregne avkastningen av forskningsinvesteringer. Empiriske studier viser at den privatøkonomiske avkastningen kan være svært høy. Men estimatene for den samfunnsøkonomiske avkastningen er gjennomgående langt høyere. Griliches7 beregner den til å være i området 10-160 %, med en median på 73. Studier av offentlige forskningsprosjekter gir estimater for avkastningen i området 20-67 %, med en median på 38. Jones og Williams8 forsøker å kombinere estimater på avkastningen fra forskning med moderne vekstteori, for blant annet å ta hensyn til at mer forskning i dag kan øke verdien av den forskningen som utføres i morgen. Ifølge deres beregninger tilsier konservative estimater at det optimale nivået på forskning i USA er fire ganger større enn dagens. Eaton, Gutierrez og Kortum9 analyserer europeisk forskningspolitikk, og deres analyse sier også at økte FoU-investeringer vil ha en betydelig positiv velferdseffekt. Det er imidlertid betydelige metodiske problemer knyttet til slike beregninger. På tvers av alle metoder og fagmiljøer er det likevel konsensus om at avkastningen på forskning er høy, og at den samfunnsøkonomiske avkastningen er vesentlig høyere enn den privatøkonomiske.10

Selv om de fleste forsøkene på å måle samfunnsverdien av forskning ser på hvilken effekt det har på verdiskapningen, er noen av de viktigste bidragene vanskelige å fange opp. Et viktig bidrag fra det offentlig finansierte forskningssystemet er alle de utdannede kandidatene som bidrar med oppdatert kunnskap og kompetanse til næringslivet. Dette er ikke minst viktig for næringslivets evne til å identifisere, tilegne seg og bruke ny kunnskap på en god måte (absorberingsevne). Flere studier viser også at det er en positiv sammenheng mellom utdanning og økonomisk vekst.11

Forventningen om å synliggjøre samfunnseffekter gjelder ikke minst helseforskning. En stor andel av offentlige FoU-utgifter brukes i de fleste land til medisinsk og helsefaglig forskning. I Norge er det formulert mål om samfunnsnytte og utviklet indikatorer for resultatene av helsetjenestens ytelser. Det pågår internasjonalt utviklingsarbeid for også å vurdere samfunnseffekter av helseforskning, og initiativ for å utvikle egnede metoder pågår i en rekke land. Det canadiske utviklingsarbeidet er kanskje kommet lengst.

De siste 20 årene har to tilnærminger blitt forsøkt for å vurdere samfunnseffekter av helseforskning. Den ene er å anslå avkastningen av investeringer i helseforskning på aggregert nivå, noe som er gjort bl.a. i USA.12 Verdien av økningen i forventet levealder og i livskvalitet ble anslått for 1970-1990 til 1500 mrd. $ per år, og rundt en tredjedel ble tilskrevet helseforskning. Dette tilsvarte 20 ganger investeringen. En lignende metode ble brukt til å anslå avkastningen av helseforskning i Australia fra 2003-2008 og anslo avkastningen til minst det dobbelte av investeringen.13 Ulempen med denne tilnærmingen er at resultatet er basert på relativt grove anslag og antagelser om årsakssammenhengene. Beregningene gir imidlertid en god illustrasjon på at offentlig finansiert forskning innen områder som helse kan ha betydelige positive samfunnseffekter som langt overstiger kostnadene.

En annen metode, som bl.a. er anvendt av det kanadiske helseforskningsinstituttet, forsøker å spore ulike typer samfunnseffekter av ny forskningsbasert kunnskap gjennom forskjellige faser.14 I hvert tilfelle identifiseres det et sett mulige indikatorer avhengig av forskningstype og forventet effekt og målgruppe. De samfunnseffektene som tas i betraktning gjennom denne metoden klassifiseres i kategoriene kunnskapsproduksjon, oppbygging av forskningskapasitet, kunnskapsbaserte beslutningsprosesser, helsegevinster og forbedrede helsetjenester, samt økonomisk avkastning. Metoden er bl.a. brukt i Storbritannia til å vurdere samfunnseffektene av forskningsprosjekter i giktforskningskampanjen15 og til å anslå økonomiske og helsemessige gevinster av forskning på hjerte- og karsykdommer og innen psykisk helse.16 Også i dette tilfellet pekes det på betydelige positive samfunnseffekter.

I Norge er det så vidt utvalget kjenner til ikke satt i gang tilsvarende arbeid for å utvikle indikatorer for samfunnseffekter av norsk helseforskning. Det er også grunn til å understreke at det er krevende å spore slike effekter. For eksempel blir befolkningens helsetilstand påvirket av en rekke faktorer i og utenfor helsetjenesten. Faktorer som sosial og økonomisk kontekst, demografiske forhold, det fysiske miljø og befolkningens livsstil spiller også inn og må kontrolleres for. Som disse eksemplene viser, kan de samfunnsmessige effektene av offentlig finansiert forskning være meget betydelige. Det er imidlertid en stor utfordring å identifisere disse effektene og kvantifisere dem på en god måte, en utfordring som først og fremst må møtes gjennom mer forskning på feltet. Utvalget foreslår derfor et eget forskningsprogram på feltet, se avsnittet om tiltak og kapittel 2.

4.2 Et norsk forskningsbarometer

Utvalget er bedt om å gi råd om gode indikatorer for offentlig finansiering av forskning. Som et konkret forslag til hvordan tilstanden i norsk forskning kan vurderes, foreslår utvalget at det etableres et norsk forskningsbarometer. Barometeret skal dekke sentrale dimensjoner i et velfungerende forskningssystem og settes sammen av indikatorer som belyser sammenhengen mellom mål, ressurser og resultater i norsk forskning. Det skal måle utviklingen over tid, både nasjonalt og relativt til andre land, og det skal ha en grad av detaljering på fag- og institusjonsnivå som gjør at det kan benyttes både innad i forskningen og av myndighetene til å dokumentere resultater og utforme konkrete tiltak og virkemidler for å fremme god forskning.

I dette kapittelet fremmer utvalget konkrete forslag til indikatorer for barometeret på grunnlag av data som er tilgjengelige i dag. Selv om disse indikatorene representerer noen sentrale dimensjoner, kan de ikke gi et samlet og fullstendig bilde av hvordan det norske forskningssystemet fungerer. Særlig vil det være behov for å utvikle datagrunnlag og indikatorer for forskningens samfunnseffekter. En videre utvikling av forskningsbarometeret bør kunne ta utgangspunkt i forslag som kommer fram gjennom høringsprosessen og i nasjonalt og internasjonalt utviklingsarbeid på dette feltet.

I vedlegg til utredningen blir det i større detalj gjort rede for metoder og begrensninger når det gjelder indikatorene i forskningsbarometeret.

4.2.1 Eksisterende datakilder og statistiske oversikter

Utvalget har som mandat å se forskningens mål, resultater og ressurser i sammenheng. Forskningsbarometeret vil skille seg fra eksisterende oversikter og indikatorer ved å etablere denne sammenhengen i selve indikatorene. Men samtidig bør forskningsbarometeret i størst mulig grad baseres på allerede tilgjengelige data. Her følger en oversikt over datakilder som utvalget har vurdert for formålet.

OECD har siden første halvdel av 1960-tallet utgitt internasjonale oversikter over ressurser til forskning og utvikling, såkalt FoU-statistikk, etter felles retningslinjer for alle medlemsland. Detaljert statistikk for norsk FoU-innsats utarbeides hvert år for næringslivet og instituttsektoren, annet hvert år for universitets- og høyskolesektoren, sist for året 2009. NIFU har etter avtale med Norges forskningsråd statistikkansvaret for universitets- og høyskolesektoren og instituttsektoren. Disse sektorene omfatter også helseforetakene. Statistisk sentralbyrå har statistikkansvaret for næringslivet. NIFU har også ansvaret for å sammenstille dataene til en samlet FoU-statistikk for Norge.

Norsk FoU-statistikk utarbeides på bakgrunn av administrative registre og spørreskjemaer til enheter med FoU-virksomhet. I universitets- og høyskolesektoren foretas totalundersøkelser av alle institutter eller tilsvarende grunnenheter. Supplerende informasjonskilder er blant annet tidsbruksundersøkelser, institusjonenes sentraladministrasjoner, Norges forskningsråd og medisinske fond. Instituttsektoren dekkes også ved totalundersøkelser med spørreskjemaer til den enkelte institusjon. I tillegg utarbeides estimater over FoU-ressursene ved museer. Data om helseforetakenes ressursbruk til FoU samles inn gjennom et eget rapporteringssystem med spørreskjema til det enkelte helseforetak. Systemet er fra og med 2007 samordnet med FoU-statistikken.

Selv om FoU-statistikken i enkelte tilfeller har mangelfull detaljeringsgrad for mindre enheter i Norge og for enkelte andre land, vurderer utvalget den som nødvendig kunnskapsgrunnlag i et forskningsbarometer. Uten FoU-statistikk ville det ikke vært mulig å sammenligne resultater og ressurser til forskning på tvers av land, sektorer og institusjoner. Samtidig vil utvalget gjøre oppmerksom på at forskningsbarometeret innebærer bruk av FoU-statistikk til et nytt formål som stiller større krav til sammenlignbarhet, og at det kan være behov for utviklingsarbeid i den forbindelse. Det samme vil kunne gjelde for andre datakilder som omtales i det følgende.

En annen internasjonal kilde til statistikk som utvalget benytter, er Eurostat, som har tall for EU- og EFTA-land, blant annet fra de europeiske innovasjonsundersøkelsene. Eurostat kan gi sammenlignbare indikasjoner på i hvilken grad næringslivet i det enkelte land samarbeider med forskningsinstitusjoner og annen FoU-virksomhet.

Utvalget har også vurdert å bruke den statistikken for økonomi og tilsatte ved norske universiteter og høyskoler som publiseres i Database for statistikk om høgre utdanning (DBH). Det er en styrke ved statistikken i DBH at den er basert på budsjetter og regnskap, men den spesifiserer ikke ressursene til forskning og er heller ikke sammenlignbar internasjonalt eller på tvers av sektorer.

På forskningens resultatside har utvalget også vurdert datakilder som for eksempel for vitenskapelig produksjon, forskningssamarbeid gjennom sampublisering, og siteringer, som en indikator på forskningens bruk eller gjennomslagskraft (i videre forskning). For internasjonale sammenligninger eksisterer kun to mulige, bibliografiske datakilder hvis man ønsker informasjon om siteringer, samtidig som publikasjonene skal kunne knyttes til institusjoner og land gjennom registrerte forfatteradresser. Begge disse datakildene er kommersielle og dekker noenlunde det samme utvalget av vitenskapelige tidsskrifter: ISI Web of Science (ISI) fra Thomson Reuters, og Scopus fra Elsevier. Til forskningsbarometeret som presenteres her, har utvalget benyttet data fra ISI som er tilgjengelige gjennom NIFU, og som man der oppdaterer årlig på oppdrag for Norges forskningsråd.

Data fra den internasjonale tidsskriftdatabasen ISI dekker i mindre grad den vitenskapelige publiseringen i humaniora og samfunnsvitenskap, blant annet fordi man her i høyere grad publiserer i bøker og i nasjonale tidsskrifter. Utvalget har kompensert for denne mangelen ved å justere indikatorene som måler publisering og sitering i forhold til ressurser for forskjeller i fagprofil.

En mer dekkende indikator for alle fagområders samlede publisering er publiseringspoeng, som er innført som en indikator på institusjonsnivå i Norge, både i universitets- og høyskolesektoren, instituttsektoren og helsesektoren. Datagrunnlaget for denne indikatoren rapporteres gjennom institusjonenes felles informasjonssystem, som nå heter Cristin. I dette systemet vil databasen Norsk vitenskapsindeks fra 2011 gjengi de tre sektorenes vitenskapelige publisering på en sammenlignbar måte (se boks 5.1). Begrensningen ved denne datakilden er at den ikke har informasjon om siteringer, og at den heller ikke kan benyttes til internasjonale sammenligninger. Utvalget anbefaler likevel at publiseringspoeng tas i bruk i forskningsbarometeret som en av flere indikatorer på vitenskapelig produksjon for norske institusjoner. I forslaget som utvalget fremmer her, benyttes indikatoren i første omgang for universiteter og høyskoler, hvor det foreligger sammenlignbare data fra og med 2005.

Utvalget har vurdert andre, og potensielt bedre dekkende, datakilder for vitenskapelig publisering, som Google Scholar, men internasjonal bibliometrisk forskning anser foreløpig at denne og andre søkemotorer gir for usikre data til å kunne brukes til måling av forskning. I forskerkommunikasjon generelt er bruken av internett i rivende utvikling, men foreløpig er det ikke mulig å måle forskning på en konsistent og representativ måte ved å ta utgangspunkt i nye kommunikasjonsformer.17 Utvalget anbefaler likevel å følge utviklingen på dette feltet. Det er ikke usannsynlig at forskningsbarometeret med tiden kan utvides med indikatorer på samfunnsmessig bruk av forskning som baseres på elektroniske datakilder.

I rapporten Det norske forsknings- og innovasjonssystemet – statistikk og indikatorer, som utgis årlig av Norges forskningsråd i samarbeid med NIFU og Statistisk sentralbyrå, har man allerede gjennom flere år publisert en rekke indikatorer og oversikter som er basert på de samme datakildene som utvalget her anbefaler for et norsk forskningsbarometer. Den norske rapporten har mange paralleller i andre land. Disse står i en tradisjon som begynte i 1972 med publikasjonen Science & Engineering Indicators fra National Science Foundation i USA. I denne tradisjonen har det vært en økende tendens til å publisere indikatorer for resultater, mens man før la mest vekt på ressurser. Hittil har man holdt resultater og ressurser atskilt i slike rapporter. Som eksempel sammenligner den norske indikatorrapporten landenes vitenskapelige produksjon med folketallene, ikke med landenes FoU-utgifter til forskning (OECD), som publiseres i et annet kapittel. Heller ikke i den danske publikasjonen Forskningsbarometer, hvor det meste av innholdet er resultatindikatorer, setter man resultatene i sammenheng med ressurser til forskning. Utvalget foreslår ikke endringer av den norske indikatorrapporten, men fremmer forslaget om forskningsbarometeret som en egen informasjonskilde med et mer spesifikt formål. Hensikten vil være at statistikk om ressurser og resultater bør kombineres med størst mulig detaljeringsgrad ned til fag- og institusjonsnivå.

Utvalget mener at forskningsbarometeret skal kunne tas i bruk på alle nivåer i forskningen. Mens tradisjonell forskningsstatistikk har vært utarbeidet sentralt og i hovedsak benyttet av statlige myndigheter, er det verd å merke seg at det nå er en økende tendens til at forskere og forskningsinstitusjoner selv utarbeider og bruker forskningsstatistikk. Et norsk eksempel er det nye nasjonale informasjonssystemet Cristin, som forskningsinstitusjonene selv avgir egne data til, og som kan brukes til flere formål foruten å avgi statistikk til bevilgende myndigheter. Indikatoren publiseringspoeng, som bygger på databasen Norsk vitenskapsindeks i Cristin, ble til ved at institusjonene selv deltok i utviklingsarbeidet.

Det finnes også eksempler på at forskere selv skaper nye datakilder for forskningsstatistikk uavhengig av statlige myndigheter. Et internasjonalt eksempel er den internettbaserte databasen RePEc (Research Papers in Economics), hvor forskere i samfunnsøkonomi verden over frivillig registrerer sine vitenskapelige publikasjoner (hittil over 700 000). Her kan man ta ut statistikk på individ- og institusjonsnivå over publiseringer, siteringer og nedlastinger av elektronisk publisert materiale. Gjennomsiktighet, medvirkning og samarbeid om utveksling av lokalt produserte data preger de nye kildene til forskningsstatistikk. Et barometer for norsk forskning bør kunne utvikles i en slik retning.

Kunnskapsdepartementet har nylig publisert en samling statistikk om forskningssystemet som de også har kalt «forskningsbarometer».18Det gjøres der ikke noe forsøk på å se ressurser og resultater i sammenheng. Utvalget vil presisere at det forslaget som her legges fram, har en annen karakter og et videre siktemål enn denne publikasjonen. Formålet for det forskningsbarometeret som foreslås her, er å utvikle et bedre grunnlag for å vurdere sammenhengen mellom mål, ressurser og resultater i norsk forskning. Det skal kunne fungere som et verktøy for bedre mål- og resultatstyring og et kunnskapsgrunnlag dokumentasjon av resultater og utforming av virkemidler for bedre måloppnåelse på ulike nivåer i forskningssystemet.

4.2.2 Kriterier for valg av indikatorer

Forskningsbarometeret skal gi et mer systematisk og bedre begrunnet grunnlag for å vurdere tilstanden i norsk forskning og skal vise sammenhengen mellom mål, ressurser og resultater. Utvalget mener at forståelsen av hva som utgjør et velfungerende forskningssystem, bør være et utgangspunkt for valg av indikatorer for barometeret. Dessuten må man ha for øye at barometeret skal kunne brukes av myndigheter og institusjoner som grunnlag for å utforme resultatmål, virkemidler og tiltak.

Indikatorer til bruk i mål- og resultatstyring skal ideelt sett være konkrete, entydige og lette å tolke og forstå. Dette vil øke påliteligheten av den informasjonen de frambringer og dermed indikatorenes legitimitet.19 Indikatorene må være sammenlignbare og bygge på data som ikke er altfor kompliserte eller ressurskrevende å samle inn. Samtidig ligger det i forsknings- og innovasjonsvirksomhetens natur at den er komplisert å måle. Mange sentrale aspekter ved resultater av FoU lar seg ikke så lett fange inn med kvantitative indikatorer. Dette gjelder for eksempel forskningskvalitet. I den forbindelse vil utvalget peke på at Norges forskningsråd har som oppdrag å gjennomføre systematiske og jevnlige evalueringer av norsk forskning på fag- eller institusjonsnivå. Man kunne systematisere resultatene fra slike evalueringer og dermed gi bedre oversikt over kvaliteten i norsk forskning. Utvalget foreslår at man med jevne mellomrom (3-5 år) supplerer forskningsbarometeret med kvalitative vurderinger, ved å bygge på evalueringer som gjennomføres av Forskningsrådet.

Fagevalueringene er et viktig kunnskapsgrunnlag for å vurdere tilstand og kvalitet i norsk forskning, men de gir ingen indikatorer som kan brukes i en systematisk sammenlikning av norsk forskning med forskning i andre land.

Den ideelle samling indikatorer «representerer et felles språk for å drøfte utviklingen av norsk forskning og for å foreta sammenligninger av norsk forskningsvirksomhet med tilsvarende i andre land».20 Som det framgår av ordet «indikator», er informasjonen man får fra slike, å betrakte som nettopp indikasjoner. Perfekte indikatorer finnes ikke. Man bør derfor ikke bruke ubegrenset med ressurser på å forsøke å utvikle uangripelige målemetoder, men på et punkt bestemme seg for at målingen er god nok.21 Indikatorene til den første versjonen av forskningsbarometeret som utvalget presenterer her, er valgt pragmatisk ut fra at de skal kunne brukes til internasjonale sammenligninger og samtidig være tilgjengelige på institusjonsnivå i ulike sektorer. Utvalget har dessuten lagt vekt på at datagrunnlaget skal være offentlig tilgjengelig, og at barometeret ikke skal være avhengig av annen dataproduksjon enn den som allerede foregår. Endelig har utvalget lagt vekt på at indikatorene skal være relevante og belyse ulike aspekter ved forskningen og dens resultater.

I forskningsbarometeret har utvalget valgt indikatorer for forskningsproduktivitet der resultatene måles hver for seg. En årsak til det er utvalgets mandat, som avgrenser arbeidet til offentlige forskningsressurser og resultater og effekter av disse. Forskningsresultatene ses i forhold til forskningsinnsatsen målt gjennom FoU-statistikken. Selv om FoU-statistikken i enkelte tilfeller har mangelfull detaljeringsgrad for mindre enheter og andre land, vurderer utvalget det som nødvendig å bruke den, fordi den gjør det mulig å sammenligne ressursinnsatsen til forskning internasjonalt på tvers av sektorer og mellom institusjoner i en sektor, jf. kapittel 4.2.1. Institusjonene i universitets- og høyskolesektoren bruker en svært ulik andel av sine ressurser på forskning, fra universitetene i Bergen, Oslo, Tromsø og NTNU, som bruker ca. 45 % av totale driftsutgifter til forskning og utvikling, til høyskoler der det tilsvarende tallet er omkring 10 %. En sammenligning på tvers av institusjoner som ikke tar hensyn til slike forskjeller ville gi et direkte villedende resultat.

Tilnærmingen utvalget har valgt er ikke helt uproblematisk. De ulike oppgavene som institusjonene har, som forskning, formidling og undervisning for universitets- og høyskolesektorens del, henger sammen og kan påvirke hverandre. Det betyr at man kan komme til å undervurdere produktiviteten på et område, hvis denne aktiviteten har store positive effekter for aktiviteten på et annet område. Dette behandles i mer detalj i et eget vedlegg hvor omfanget av problemet analyseres og måter å ta hensyn til det på diskuteres.22 For eksempel skal deler av undervisningen være forskningsbasert, og dette gjelder ikke bare forskerutdanningen (som inngår i FoU statistikken). Også utdanning på master- og bachelornivå kan gi studentene et innblikk i forskningsmetodikk og praksis, gjerne gjennom interaksjon med forskerne selv. Forskning kan altså ha positive effekter for kvaliteten på utdanningen, og dermed også for de som senere sysselsetter kandidatene, som det er vanskelig å fange opp på en god måte gjennom tilgjengelige data. På samme måte kan undervisning og veiledning ha positive effekter for forskning. Dette er et eksempel på effekter som det ville være ønskelig å utvikle bedre metoder for å kartlegge og som naturlig faller innfor rammen av det forskningsprogrammet utvalget fremmer forslag om, jf. kapittel 2 og kapittel 4.3.

4.2.3 Valg av land, institusjoner og fagområder

I tråd med mandatet har utvalget valgt å foreslå et barometer for forskningen i offentlig sektor, det vil si forskningen ved universiteter og høyskoler, forskningsinstitutter og helseforetak. I Norge bør barometeret kunne spesifisere indikatorene for hver enkelt institusjon.

Når vi skal sammenligne norsk forskning med forskning internasjonalt har utvalget valgt å sammenligne Norge med Canada, Danmark, Finland, Nederland, New Zealand og Sverige. Disse landene er forholdsvis små, velstående og har en del fellestrekk (men også ulikheter) knyttet til forskningssystem og økonomisk struktur som gjør dem interessante å sammenligne også ut fra andre sider ved forskningssystemet. På sikt kan man utvikle et sett av referanseinstitusjoner i utlandet, slik at norsk forskning kan sammenlignes også på institusjonsnivå.

Både land og forskningsinstitusjoner kan ha forskjellige fagprofiler som gjør at de ikke kan sammenlignes direkte ut fra forskningsindikatorer. Men det er mulig å justere for ulike fagprofiler, dersom man har faginndelte data. I utvalgets forslag ligger en faginndeling av datagrunnlaget som tilsvarer den som gjennomføres for FoU-statistikken etter retningslinjer fra OECD. Der hvor det er mulig og nødvendig, er datagrunnlaget inndelt i seks hovedområder før det er gjennomført en vektet beregning med utgangspunkt i fagprofiler: humaniora, samfunnsvitenskap, matematikk og naturvitenskap, teknologi, medisin og helsefag, landbruksvitenskap/veterinærmedisin.

I en en del tilfeller finnes det foreløpig begrensninger i datakildene som gjør at enkelte institusjoner, land eller fagområder må holdes utenfor sammenligningene når indikatorene beregnes. Slike begrensninger gjør utvalget oppmerksom på i beskrivelsen av datagrunnlaget for den enkelte figur eller tabell.

4.2.4 Indikatorer basert på vitenskapelig publisering

I så å si all forskning i offentlig sektor er vitenskapelig publisering en del av selve forskningsprosessen. I prosessen fram mot publisering blir manuskriptet vurdert av fagfeller. Dette er en viktig form for kvalitetssikring i forskningen. Når forskere vurderer andre forskeres publikasjoner før publisering, er originalitet og kvalitet i arbeidet to av de viktigste kriteriene. Publikasjonen må bringe noe nytt, ikke bare til leseren, men til vitenskapen, og dette nye må være solid underbygget, etterrettelig og godt forklart. Ofte revideres et manuskript i flere omganger etter at andre forskere har uttalt seg. I den endelige, publiserte versjonen blir resultatene gjort tilgjengelige på en slik måte at de kan vurderes, diskuteres og anvendes i videre forskning. Fordi vitenskapelig publisering er en nødvendig del av forskningsprosessen, kan vitenskapelig publisering være en indikator på forskningsaktivitet.

Bibliografiske databaser er en viktig del av forskningens infrastruktur. De hjelper forskerne med raskt å gjøre seg kjent med annen forskningslitteratur omkring samme problemstilling som de selv arbeider med. Det er ressurskrevende å skape og oppdatere bibliografiske databaser. Derfor hentes datagrunnlaget til indikatorer for vitenskapelig publisering vanligvis fra de samme databasene som forskerne bruker til å søke relevant litteratur. Dette gjelder for eksempel for data fra den internasjonale tidsskriftindeksen ISI Web of Science (ISI), som er en av de datakildene utvalget foreslår for forskningsbarometeret. I ISI-databasen registreres mer enn 1 mill. vitenskapelige artikler årlig i mer enn 10 000 vitenskapelige tidsskrifter. Som nevnt ovenfor, gir denne databasen likevel begrenset dekning av publiseringen, særlig i humaniora og samfunnsvitenskap. Den ulike dekningen per fagområde er vist i tabell 4.1, med utgangspunkt i den vitenskapelige publiseringen ved norske universiteter og høyskoler. Utvalget har tatt hensyn til den ulike dekningen ved beregningen av indikatorer basert på ISI-data.

Nye tidsskrifter innlemmes i ISI-databasen etter en kvalitetsvurdering, ifølge den informasjonen som utgiveren Thomson Reuters publiserer. Likevel er det vanskelig å bruke publisering i ISI-tidsskrifter som en generell indikator på forskningskvalitet, fordi utvalget av tidsskrifter både kan være svært omfattende og svært begrenset, avhengig av fag. Publisering i ISI-tidsskrifter sier derfor primært noe om forskningsaktivitet, hvis man samtidig justerer for ulike fagprofiler. Indikatoren publiseringspoeng, som er basert på norske institusjoners felles informasjonssystem Cristin, gir en mer fullstendig dekning av all vitenskapelig publisering, men bare i Norge.23

For første gang i norsk sammenheng beregner utvalget forskningsproduktivitet ved å se vitenskapelig publisering og siteringer i forhold til ressursene som er anvendt på forskning og utvikling. Både forskning og publisering er prosesser som kan ta lang tid. Derfor kan FoU-utgiftene et gitt år ikke sammenlignes med publiseringen fra samme år. Vi har lagt inn en avstand i tid fra det året FoU-utgiftene er beregnet til det året publikasjonene foreligger. Samtidig har vi beregnet gjennomsnittet for flere år i både teller og nevner for å unngå tilfeldige variasjoner.

Tabell 4.2 viser de offentlige FoU-utgiftene fra 2001 til 2009 i Norge og fem av landene vi har valgt å sammenligne Norge med. Danmark og Finland har offentlige FoU-utgifter om lag på nivå med Norge, mens Canada, Nederland og Sverige har mer.24 Tabell 4.3 viser veksten i offentlige FoU-utgifter fra 2002 til 2009. Norge har hatt den største veksten siden 2006.

FoU-utgiftene sier noe om nivået på forskningsinnsatsen i de ulike landene, og således noe om hvor mange publiseringer vi ville forvente fra hvert land. Grovt sett kan vi si at når Sveriges FoU-utgifter i 2007 var 1,8 ganger FoU-utgiftene i Norge, vil vi også forvente at artikkelproduksjonen var 1,8 ganger høyere.

Figur 4.2 viser landenes relative produktivitet målt som hvert lands andel av alle landenes ISI-artikler i forhold til hvert lands andel av alle landenes FoU-utgifter to år tidligere. Både tallene for artikler og FoU-utgifter er gjennomsnitt av tre år. Årstallet 2009 i figuren viser for eksempel andelen av ISI-artikler i perioden 2007 til 2009 i forhold til andelen av FoU-utgifter i perioden 2005 til 2007. Dette er gjort for å ta hensyn til at det tar tid fra bevilgningene kommer til man ser resultater. Et produktivt land har en større andel av produksjonen enn det dets andel av FoU-utgiftene skulle tilsi, målt med denne metoden. Samlet sett for alle landene gir ikke denne indikatoren noen oversikt over produktivitetsutviklingen over tid – tidsdimensjonen gir bare utviklingen for hvert land sammenlignet med de andre landene.

Kilde: Utvalget basert på tall fra NIFU/Thomson Reuters

Resultatet i figur 4.2 viser at produktiviteten i norsk forskning, målt som artikkelproduksjon i forhold til offentlig FoU, har økt over tid, sammenlignet med gjennomsnittet av de andre landene. Den ligger nå på om lag samme nivå som Canada, Nederland og Finland. I løpet av den perioden vi ser på her, har veksten i offentlig finansiert forskning vært langt sterkere i Norge enn i de andre landene. Den sterke økningen i ressursinnsatsen som vi har hatt i Norge gjennom en årrekke, har altså ikke gått ut over produktiviteten, selv om det har vært en svak nedgang etter 2008. Men svensk og dansk forskning er fortsatt langt mer produktiv enn norsk.

Siden slike sammenligninger kan påvirkes av forskjeller i fagprofil, har vi i figur 4.3 søkt å korrigere for dette. Dette er bare mulig for de nordiske landene, og begrensninger ved datagrunnlaget gjør at beregningen må tas med et visst forbehold.25 Figur 4.3 viser at justeringen av fagprofiler reduserer forskjellen i produktivitet mellom Danmark og Norge. En del av forskjellene mellom land kan altså tilskrives forskjeller i fagprofil. Men figuren bekrefter hovedinntrykket fra figuren foran. Produktiviteten i norsk forskning, justert for fagforskjeller, ligger på nivå med Finland, men under det svenske og danske nivået. Avstanden er spesielt stor når vi sammenligner med Danmark.

Kilde: Utvalget basert på tall fra NIFU/Thomson Reuters

4.2.5 Indikatorer basert på siteringer

En sitering forekommer når en vitenskapelig publikasjon nevnes i referanselisten til en annen publikasjon. Siteringer kan brukes som en indikator på forskningens bruk, innflytelse, betydning eller gjennomslagskraft i senere forskning. I vitenskapelige publikasjoner er det en norm at forfatterne så vidt mulig oppgir relevant tidligere forskning i referanselistene, som kan være lange av samme grunn. Dette gjelder ikke i samme grad for andre typer publikasjoner som kan bygge på forskning, for eksempel avisartikler eller offentlige utredninger. Siteringer er derfor primært et uttrykk for den internvitenskapelige betydningen som en publikasjon senere får.

Datagrunnlaget for siteringsindikatorer skapes ved at man i en bibliografisk database registrerer hele referanselisten bakerst i publikasjonen, i tillegg til de bibliografiske opplysningene om selve publikasjonen. Dermed har man to typer referanser i databasen – de som er hentet fra referanselistene (som viser til eldre publikasjoner) og de som bygger på registreringer av (nye) publikasjoner. Hvis en referanse viser til en publikasjon som er registrert i databasen tidligere, kan man koble den siterende publikasjonen til den siterte. Denne muligheten finnes i de to internasjonale databasene som har bredest dekning av den internasjonale, vitenskapelige litteraturen: ISI Web of Science (ISI) og Scopus. Muligheten finnes også som mekanisme i søkemotoren Google Scholar, men uten gi et søkeresultat som kan gjentas med kontrollerte betingelser. Datakilden til siteringsindikatorer er derfor nesten alltid ISI eller Scopus. Utvalget bruker som nevnt ISI i forskningsbarometeret.

Den begrensede dekningen av særlig humaniora og samfunnsvitenskap i ISI gir også begrensede antall siteringer. Grunnen er at både den siterte og siterende publikasjonen må være registrert i databasen. Dessuten varierer siteringspraksis mye mellom fagene, også innenfor det enkelte fagområde. Dette er det vist eksempler på i tabell 4.4.

Siteringer er sterkt skjevfordelt mellom publikasjoner: En liten del av alle vitenskapelige publikasjoner blir mye sitert i ettertid, mens de fleste vitenskapelige publikasjoner blir sjelden eller aldri sitert. Dette vil man finne på alle nivåer, for eksempel for publikasjoner i samme tidsskrift, fra samme institusjon eller fra samme land. Selv de mest kjente forskerne har som regel noen publikasjoner som blir mye sitert og mange som ikke blir det. På grunn av skjevfordelingen veier de få, mye siterte publikasjonene tungt i enhver siteringsindikator. Dette kan gi store variasjoner fra år til år, noe som kan kompenseres ved å beregne gjennomsnittlig siteringshyppighet for flere år av gangen. I slike beregninger er det vanlig å holde publikasjoner med mindre enn ett års siteringstid utenfor beregningen. Det er også gjort her. Og på samme måte som for publikasjoner, er det tatt hensyn til at siteringer til et forskningsarbeid vil foreligge lenge etter at arbeidet ble finansiert.

Det er vanlig å se bort fra selvsiteringer når siteringshyppighet undersøkes på individ- eller gruppenivå. Selvsiteringer har imidlertid liten betydning for utfallet når institusjoner og nasjoner sammenlignes. Selvsiteringer er ikke holdt utenfor i det datagrunnlaget vi bygger på her.

Utvalget anser siteringer som et nyttig supplement til publikasjoner i en resultatindikator som skal se forskningens mål og resultater i sammenheng med ressursene. Siden siteringer er skjevt fordelt mellom fag, sammenligner vi hvert lands andel av siteringer innen et fag med landets andel av FoU-utgiftene i faget. For å få en felles indeks for hvert land vekter vi de fagspesifikke produktivitetsindikatorene sammen der landets FoU-utgifter brukes som vekt.

Forskere ved norske institusjoner har tilgang til ISI Web of Science og kan slå opp sine egne publikasjoner og finne hvor mange ganger de har vært sitert i ettertid. Den samme informasjonen finnes ikke i Norsk vitenskapsindeks, databasen for vitenskapelig publisering i Cristin, til tross for at ISI-referanser importeres inn i dette systemet og legges til grunn for registreringen av omtrent halvparten av de vitenskapelige publikasjonene som er med der. Hvis man får en avtale med Thomson Reuters (ISI) eller Elsevier (Scopus), de to leverandørene av siteringsindekser som kan brukes i denne sammenhengen, er det mulig å gi denne informasjon om siteringer i Norsk vitenskapsindeks. Det er også teknisk mulig å la forskerne bidra med individuell registrering av siteringer til publikasjoner som ikke er dekket av ISI eller Scopus. Utvalget mener at en større oppmerksomhet om siteringer generelt kan gi mer fokus på resultater og kvalitet i norsk forskning. Dette vil gjelde uansett om man benytter siteringsindikatorer til ressursfordeling eller ikke.

For å gjøre dette til anvendelig og sammenlignbar styringsinformasjon bør det imidlertid stilles tre krav: For det første må antallet siteringer gjøres opp på samme tidspunkt for alle publikasjoner i systemet, for eksempel en gang i året. Dette kan skje etter en egen avtale med Thomson Reuters eller Elsevier (Scopus), slik at de leverer oppdaterte siteringstall også for referanser som de har levert tidligere år. For det andre må indikatoren justeres for fagforskjeller hvis den ikke skal bli misvisende på aggregert nivå. For det tredje bør resultatet av disse beregningene deles forholdsmessig mellom medvirkende forfattere og institusjoner, på samme måte som man i dag gjør med publiseringspoeng. Alt dette kan skje ved en årlig oppdatering av Norsk vitenskapsindeks.

At en artikkel blir publisert er en forutsetning for at den skal bli sitert. Derfor er det ingen motsetninger mellom antall artikler og antall siteringer. Tvert imot kan man forvente at det er en positiv sammenheng når de publiserte artiklene er vurdert som gode nok av fagfeller i ISI.

Siteringer er et mål på forskningens innflytelse, men også en indikator for kvalitet. Figur 4.4 og 4.5 viser en positiv utvikling for norsk forskning over tid sammenlignet med andre land (med unntak av de siste årene). Men fortsatt siteres norsk forskning langt under gjennomsnittet, og avstanden til det landet som gjør det best (Danmark), er relativt stor, selv når forskjeller i fagsammensetning er tatt hensyn til.

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

Hvis vi ikke knytter siteringer til FoU-utgifter kan vi sammenligne flere land. Figur 4.6 tar utgangspunkt i relativ siteringshyppighet, det vil si hvor mye en artikkel blir sitert, jamført med hva en kunne forvente ut fra det tidssskriftet artikkelen er publisert i (gjennomsnittelig antall siteringer for artikler i tidsskriftet det året). Denne metoden korrigerer for at noen tidsskrifter er mer sitert enn andre. Resultatet viser bl.a. at dansk, nederlandsk og svensk forskning siteres betydelig mer enn norsk forskning. Dette bekrefter inntrykket av at norsk forskning har et betydelig forbedringspotensial når det gjelder forskningens kvalitet og gjennomslagskraft internasjonalt.

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

4.2.6 Nasjonale indikatorer basert på publiseringer og siteringer

I internasjonale sammenligninger av vitenskapelige publiseringer er vi nødt til å basere oss på internasjonale sammenlignbare databaser som for eksempel ISI Web of Science. En utfordring som vi har vært inne på er at denne databasen har dårlig dekning i humaniora og samfunnsfag. En mer dekkende indikator for alle fagområders samlede publisering er publiseringspoeng, som er innført som en indikator på institusjonsnivå i Norge, både i universitets- og høyskolesektoren, instituttsektoren og helsesektoren. Siden siteringer ikke inngår i rapporteringen av vitenskapelig publisering fra norske institusjoner, er vi nødt til å bruke ISI-databasen når vi skal sammenligne siteringer mellom norske institusjoner.

En måte å sammenligne produktiviteten mellom norske institusjoner på, er å se på antall publiseringspoeng i forhold til ressursene avsatt til forskning og utvikling. En utfordring med denne metoden er at det gjennomgående kreves langt mindre ressurser, målt i kroner, for å produsere et publiseringspoeng i humaniora enn i utstyrsintensive fag. Ved å måle antall publiseringspoeng per krone vil institusjoner som har en stor andel av forskningen sin i humaniora komme godt ut, sammenlignet med andre institusjoner.

For å ta hensyn til dette sammenligner vi institusjonens andel av publiseringspoengene med andelen av FoU-utgiftene i hvert fagfelt. Produktiviteten i hvert fagfelt vektes sammen med fagets andel av FoU-utgiftene innen den enkelte institusjon for å få en samlet indikator på produktiviteten for hver enkelt institusjon.26

Det er en utfordring å sammenligne institusjoner som i utgangspunktet er svært forskjellige både når det gjelder formål og fagfordeling. Selv om vi vurderer produktiviteten ut fra de ressursene som er satt av til forskning ved den enkelte institusjon, er det naturlig at forskningens publiserbarhet kan variere. Dette vil gi spesielt store utslag for institusjoner med små FoU-andeler. For å minimere dette problemet velger vi å begrense utvalget til universiteter og høyskoler med en viss bredde når det gjelder fagfelt og en viss størrelse på forskningsinnsatsen. Vi har valgt å begrense oversikten til de institusjonene som har minimum 5 mill. kroner i FoU-utgifter innen minst tre forskjellige fagfelt.27 Høgskolen i Narvik har fått medieomtale fordi de gjorde det best av samtlige universiteter og høyskoler i en foreløpig versjon av produktivitetsindikatoren som ble presentert i januar 2011. Høgskolen i Narvik er ikke tatt med her fordi institusjonen ikke tilfredsstiller kravene til bredde og størrelse som er lagt til grunn av utvalget (men ville gjort det svært bra om de hadde vært inkludert).

Figur 4.7 viser norske universiteter og høyskoler etter hvor produktive de er basert på vår indikator.28 Indikatoren viser forholdet mellom en institusjons andel av produksjonen av publikasjonspoeng og dets andel av FoU-ressursene i sektoren. Institusjoner som produserer flere publikasjonspoeng enn hva man kunne forvente ut fra deres FoU-ressurser vil ha en verdi over 1 (og vice versa for mindre effektive institusjoner). Det er justert for forskjeller i fagprofil, slik det er forklart over. Figuren viser at det er en relativt stor spredning mellom norske institusjoner i forhold til hvor produktive de er. Målt på denne måten framstår Høgskolen Stord-Haugesund som den mest produktive institusjonen. Det gjelder særlig i teknologifag. I indeksen blir teknologi tillagt en beskjeden vekt for Stord-Haugesund etter som dette fagområdet kun utgjør en mindre del av høyskolens totale FoU-utgifter. Men til gjengjeld publiserer de så mye i forhold til ressursinnsatsen at det løfter Stord-Haugesund øverst på lista.

Kilde: Utvalget basert på tall fra NIFU/DBH

De store universitetene plasserer seg omtrent på midten blant institusjonene. Selv om ingen publiserer mer enn de største universitetene, viser oversikten at de kanskje ikke publiserer så mye som man skulle forvente, med tanke på hvor stor andel av forskningsressursene de disponerer. Blant de fire største universitetene framstår NTNU som det mest produktive, tett fulgt av Universitetet i Oslo. Universitetet i Stavanger gjør det aller best av universitetene.

Hvis vi ser på hvor mye forskningen blir sitert, er bildet et annet. Figur 4.8 viser at det er de største universitetene som blir sitert klart mest i forhold til ressursinnsatsen. Figuren viser at det kun er Universitetet i Oslo og Universitetet i Bergen som blir sitert mer enn deres andel av FoU-utgiftene skulle tilsi.29

Kilde: Utvalget basert på tall fra NIFU/Thomson Reuters

Indikatorene som viser publiseringspoeng og indikatoren som viser siteringer gir med andre ord svært forskjellige resultater. Til sammen viser figurene at produksjonen ved mange høyskoler er betydelig, men at det er forskningen ved universitetene som i størst grad blir sitert av nasjonale og internasjonale forskningsmiljøer.

I vedlegget viser vi også hvordan rangeringen er for hvert enkelt fagfelt. Der har vi også inkludert institusjoner som er store innenfor ett fagfelt, men som ikke har tilstrekkelig bredde til å komme med i denne oversikten. Også når vi ser hvert fagfelt for seg, er det tydelig at de store institusjonene gjennomgående blir mest sitert.

4.2.7 Indikatorer basert på sampublisering

I naturvitenskap, medisin og helsefag, landbruksvitenskap og teknologi er det vanlig at forskere samarbeider om å gjennomføre forskningen og publiserer resultatene i felles publikasjoner. Også i samfunnsvitenskap er det økende tendens til sampublisering, mens dette er mindre utbredt i humaniora. Det behøver ikke skyldes mangel på samarbeid. Andre forskeres bidrag kan bli nevnt i publikasjonen på andre måter enn ved at de står som medforfattere.

Forskningssamarbeid på tvers av institusjons- og landegrenser kan observeres i vitenskapelige tidsskriftartikler som blir registrert i den bibliografiske databasen ISI Web of Science. Forfatterne publiserer adressene sine i tidsskriftene, og disse adressene blir i sin tur registrert blant opplysningene i ISI. Når forskernes adresser i en og samme artikkel viser til ulike institusjoner eller land, kan dette registreres som en samarbeidsrelasjon.

Universiteter og høyskoler bidro til 7342 artikler i ISI Web of Science i 2009. Tilsvarende tall for instituttene var 2500 artikler og for helseforetakene 2283 artikler. Artikler der alle sektorene samarbeider, er ikke inkludert, men utgjør uansett et beskjedent antall. Figur 4.9 viser at forskere i helseforetakene og i instituttene har et utstrakt samarbeid med forskere i universitets- og høyskolesektoren når de publiserer i vitenskapelige tidsskrifter. Over 70 % av artiklene skrevet av ansatte ved helseforetakene har minst en medforfatter fra universitets- og høyskolesektoren.

Kilde: Thomson Reuters/NIFU

En økende andel av de norske, vitenskapelige artiklene i ISI har forfatteradresser også i andre land. I 1990 var det internasjonal sampublisering i 26 % av artiklene. Ti år senere var andelen økt til 44 %, og i 2009 hadde hele 56 % av artiklene kombinasjoner av Norge og andre land i adressene. Økningen var mest markant i 1990-årene. Andelen ser nå ut til å stabilisere seg på vel 50 %.

Prosentandelen artikler med internasjonalt samforfatterskap er vanligvis høyere i små land enn i store land. Andelen har vært økende overalt i verden. Utvalget anbefaler å overvåke at andelen internasjonal sampublisering for Norges vedkommende holder seg minst på høyde med andelen i de øvrige nordiske land.

Indikatorer basert på sampublisering kan også brukes til å følge endringer i samarbeidsmønsteret. Som eksempel har norske forskeres samarbeid med forskere i EU-land fått stadig større relativ betydning siden 1994, mens det motsatte har skjedd for samarbeidet med forskere i USA.30 Et særtrekk for forskere i de nordiske land er at de samarbeider relativt mye med hverandre.31

4.2.8 Indikatorer basert på doktorgrader

Indikatorer basert på doktorgrader representerer flere aspekter ved forskningssystemet: utdanningsaktiviteten på høyeste nivå, investeringen i rekruttering til forskning og i høyt kvalifisert arbeidskraft for øvrig og selve forskningsaktiviteten, fordi stipendiatene ofte bidrar vesentlig til denne.

Som i en rekke andre land, bruker man i Norge doktorgrader som en resultatindikator i finansieringssystemet for universiteter og høyskoler. Det samme gjelder for basisfinansieringen av forskning i instituttsektoren og helsesektoren, men her med utgangspunkt i fullført doktorgradsarbeid ved institusjonen, ikke antallet doktorgrader som institusjonen har veiledet og tildelt.

Norge har et komplett register over alle doktorgrader som er tildelt i landet siden 1817. Men til de internasjonale sammenligningene som utvalget gjør her, må data hentes fra OECD. Der er statistikken basert på en International Standard Classification of Education (ISCED), som er utarbeidet av UNESCO. Utvalget har valgt å relatere antallet doktorgrader per land og år til den yrkesaktive befolkningens størrelse. Dermed fanger indikatoren opp både utdannings- og forskningsaspektet ved doktorgrader.

Det siste tiåret har det vært en kraftig vekst i utdannede doktorgradskandidater. Sammenlignet med andre land er det særlig i naturvitenskap og medisin/helse at Norge utdanner mange forskere, mens vi ligger under snittet når det gjelder samfunnsfag, humaniora og teknologiske fag.32 Fortsatt utdanner imidlertid Norge relativt få doktorgradskandidater regnet per 1000 innbyggere i aldersgruppen 25-64 år, sammenlignet med Finland og Sverige,33 jf. figur 4.10.

¹ Statistikk for Canada er for 2000 og 2008.

Kilde: OECD/EUROSTAT

4.2.9 Indikatorer basert på finansiering fra utlandet

Finansiering fra utlandet kan komme fra både private og offentlige kilder og er som oftest konkurranseutsatt på internasjonalt nivå. Derfor kan indikatoren si noe om forskningens kvalitet, om internasjonal synlighet og konkurransedyktighet, for eksempel når det gjelder oppdragsmidler fra utenlandsk næringsliv, men også om internasjonal deltakelse og samarbeid, der hvor dette er en betingelse for å søke midler.

For land som deltar i EUs rammeprogrammer for forskning har denne typen indikatorer en særlig betydning, ikke bare fordi den både viser konkurransedyktighet, internasjonal deltakelse og samarbeid, men også fordi så stor del av forskningsmidlene i hvert land kommer fra rammeprogrammene. Indikatorene kan derfor si noe om hvor velfungerende forskningssystemet er, sett utenfra. Det er mulig å bruke flere indikatorer, for eksempel suksessrater for søknader, nettoresultat av overførte EU-midler og andel av FoU-utgiftene som er EU-finansiert. Utvalget har valgt sistnevnte, med utgangspunkt i OECD-statistikk.

Figur 4.11 viser andelen av de offentlige FoU-utgiftene som er finansiert av EU.

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI

Institusjonene i universitets-, høyskole- og instituttsektoren i Finland har en vesentlig høyere andel av sine inntekter fra EU enn de andre landene, over 6 % av FoU-utgiftene er finansiert fra EU. Andelen har økt kraftig over tid. Til sammenligning henter norske institusjoner hjem rundt 2 % av sine FoU-utgifter fra EU, og utviklingen over tid er negativ. Norge gjør det dermed klart dårligst blant de landene som er med i figuren.

Figur 4.12 viser at instituttene gjennomgående henter en større andel av sine FoU-inntekter fra EU enn institusjoner i universitets- og høyskolesektoren og helseforetakene. For instituttene varierer nivået mellom 2,7 og 4 %. Andelen EU-inntekter som institusjonene i universitets- og høyskolesektoren henter fra EU, varierer mellom 0,4 og 2,3 %. Helseforetak med universitetssykehusfunksjoner henter den minste andelen av sine FoU-inntekter fra EU. Mens universiteter og høyskoler har EU-finansiering som sin absolutt viktigste utenlandske finansieringskilde, henter instituttene mer fra andre utenlandske kilder, primært utenlandsk næringsliv. Disse utenlandske inntektene utgjorde i 2009 7,5 % av instituttenes samlede inntekter.

Kilde: Utvalget basert på tall fra NIFU

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI

4.2.10 Indikatorer basert på finansiering fra næringslivet

Andelen av FoU-utgiftene som finansieres fra næringslivet indikerer hvor relevant, anerkjent og attraktiv forskningen er for private virksomheter som støtter, samarbeider om eller bestiller forskning og utviklingsarbeid i offentlig sektor. I de senere årene har det vært økende konkurranse om midler fra næringslivet, blant annet fordi norske bedrifter orienterer seg mer mot utenlandske forskningsleverandører, samtidig som norske forskningsinstitusjoner i økende grad orienterer seg mot finansiering fra utlandet.

Figur 4.14 viser at instituttene, ikke overraskende gitt deres funksjon i forskningssystemet, henter en vesentlig større del av sine inntekter fra næringslivet enn de andre institusjonene. De teknisk-industrielle instituttene står i en særstilling. For institusjonene i universitets- og høyskolesektoren er det en forholdsvis stor forskjell mellom de institusjonene som dekker en betydelig andel av sine FoU-utgifter gjennom inntekter fra næringslivet (Universitetet i Stavanger, NTNU og Universitetet for miljø- og biovitenskap) og de som henter inn svært lite (Universitetene i Oslo og Agder). Helseforetakene ligger også forholdsvis lavt når det gjelder inntekter fra næringslivet.

Kilde: Utvalget basert på tall fra NIFU

For land som Canada, Finland og Nederland34 utgjør næringslivet en viktigere kilde til finansiering av forskning i offentlig sektor, målt som andel av FoU-utgifter, enn i Norge, jf. figur 4.13. Norge plasserer seg omtrent på nivå med Sverige og foran Danmark. Andelen av FoU-utgiftene som finansieres fra næringslivet, viser en svakt nedadgående trend for Norge.

4.2.11 Indikatorer basert på samarbeid om innovasjon med næringslivet

Samarbeid med næringslivet kan ta ulike former, fra støtte til forskning ut fra ideelle formål til kjøp av FoU-tjenester, fra intensjonsavtaler og utveksling av kandidater, medarbeidere og kunnskap til store felles forskningsprosjekter som også kan være finansiert av en tredje part. De europeiske innovasjonsundersøkelsene (Community Innovation Surveys – CIS, initiert av Eurostat) gjennomføres annet hvert år på en slik måte at det er mulig å sammenligne resultatene på tvers av deltakerlandene. Undersøkelsen er basert på et felles spørreskjema og felles populasjon og utvalgsmetoder. Bedrifter som innoverer, får blant annet spørsmål om de har samarbeid med offentlige FoU-institusjoner. Data fra CIS kan derfor si noe om hvor mye norsk næringsliv samarbeider med forskningsinstitusjoner. Indikatorene basert på CIS-data fanger opp flere samarbeidsformer enn bare kjøp av FoU og er derfor et nyttig supplement til indikatorer som er basert på forskningsinstitusjonenes finansiering fra næringslivet.

Norge gjør det gjennomgående dårlig på indikatorer som viser innovative bedrifters samarbeid med universiteter og høyskoler, offentlige forskningsinstitutter og private konsulenter, kommersielle laboratorier og FoU-aktører.

Figur 4.15 viser andelen av innovative bedrifter som samarbeidet med universiteter og høyskoler i perioden 2006 til 2008. Vi har utelatt Canada og New Zealand, fordi innovasjonsstatistikken ikke er sammenlignbar for disse landene. Norge er det landet der innovative bedrifter i minst grad samarbeider med universiteter og høyskoler. Dette gjelder for bedrifter av alle størrelser og kan således ikke forklares med at det er flere små bedrifter i Norge. Det kan være et uttrykk for at norske bedrifter i mindre grad enn bedrifter i enkelte andre land er i stand til å utnytte den forskningen som foregår i universitets- og høyskolesektoren. Finland er det landet der innovative bedrifter i suverent størst grad samarbeider med universiteter og høyskoler.

Kilde: Utvalget basert på tall fra NIFU/Eurostat

Figur 4.16 viser andelen av innovative bedrifter som samarbeider med offentlige forskningsinstitutter eller laboratorier. Nederland og Sverige har en lavere andel enn Norge, mens Danmark har en høyere andel og Finland en betydelig høyere andel. Sverige har en liten instituttsektor, og det er derfor ikke overraskende at de har en såpass lav andel.

Kilde: Utvalget basert på tall fra NIFU/Eurostat

Figur 4.17 viser andelen av innovative bedrifter som samarbeider med andre, private aktører om innovasjon. Igjen er Norge blant de landene som har minst samarbeid, Finland er det landet som samarbeider mest.

Kilde: Utvalget basert på tall fra NIFU/Eurostat

Når vi ser på internasjonalt samarbeid blant innovative bedrifter, framstår ikke Norge som like dårlig, selv om vi også her ligger langt bak Finland. Også Nederland og Sverige gjør det bedre enn oss (figur 4.18).

Kilde: Utvalget basert på tall fra NIFU/Eurostat

Det faktum at Norge gjør det dårlig på alle samarbeidsindikatorene viser at innovative, norske bedrifter samarbeider mindre med andre kunnskapsleverandører enn bedriftene i andre nordiske land.

4.3 Utvalgets vurderinger og forslag til tiltak

Etablering av et forskningsbarometer

Som et konkret forslag til hvordan tilstanden i norsk forskning kan vurderes, foreslår utvalget at det etableres et norsk forskningsbarometer. Formålet er å styrke kunnskapsgrunnlaget om hvordan norsk forskning presterer, sammenlignet med andre land og norske institusjoner innbyrdes. Et hovedprinsipp er at resultater så langt det er mulig skal ses i forhold til ressurser. Barometeret skal være et verktøy for aktører på ulike nivåer i systemet, fra den enkelte forsker og forskningsgruppe til forskningsministeren. Det skal kunne brukes til dokumentasjon av resultater og sammenligninger, bidra til bedre mål- og resultatstyring og være til hjelp i videre utvikling av resultatbaserte finansieringssystemer. Ved å la forskningsbarometeret, mål- og resultatstyringen og finansieringssystemene spille sammen vil en kunne få en langt sterkere oppmerksomhet om forskningsresultater og effektiv ressursutnyttelse enn hva virkemidlene hver for seg ville føre til.

Barometeret skal dekke sentrale dimensjoner i et velfungerende forskningssystem og settes sammen av indikatorer som belyser sammenhengen mellom mål, ressurser og resultater. Det skal måle utviklingen over tid, både nasjonalt og i forhold til andre land, og det skal ha en detaljeringsgrad på fag- og institusjonsnivå som gjør at det kan brukes både innad i forskningsmiljøene og av myndighetene til å utforme konkrete tiltak og virkemidler for å fremme god forskning. Det er viktig for legitimiteten til forskningsbarometeret, og dermed for den effekten det vil ha, at det blir sett på som en ressurs både for forskere og forskningsgrupper, så vel som for administratorer på ulike nivåer. Fra et styringsmessig ståsted er det viktig at barometeret brukes til læring og utvikling på ulike nivåer, ikke som et kontrolltiltak.

Utvalget fremmer forslag til indikatorer i barometeret på grunnlag av tilgjengelige data. Forskningsbarometeret bør ikke utformes en gang for alle, men være i kontinuerlig utvikling. Den analysen utvalget legger fram, er et pilotprosjekt. Den videre utviklingen av forskningsbarometeret bør kunne ta utgangspunkt i forslag som kommer fram gjennom høringsprosessen, internasjonalt utviklingsarbeid og norsk kunnskapsutvikling på dette feltet. Det er derfor avgjørende at den videre utviklingen og anvendelsen av barometeret blir gjenstand for bred debatt.

Selv om de foreslåtte indikatorene reflekterer sentrale dimensjoner ved systemet, gir de ikke noe fullstendig bilde av hvordan det norske forskningssystemet fungerer. Utvalget mener det særlig er behov for å utvikle datagrunnlag og indikatorer for forskningens samfunnseffekter.

Bruken av internett som redskap for kommunikasjon av forskning er i rivende utvikling, blant annet gjennom Google Scholar. Foreløpig gir slike søkemotorer for usikre data til at de kan brukes som grunnlag for måling av forskning. Utvalget anbefaler at å følge denne utviklingen nøye, siden det potensielt kan gi indikatorer som fanger opp samfunnsmessig bruk av forskning.

Forskningsbarometeret skal kunne tas i bruk på alle nivåer i forskningen. Tilgang og kvalitet på data varierer også mellom ulike typer institusjoner. Slik det er i dag, er dataene bedre for universitets- og høyskolesektoren, og spesielt de større institusjonene, enn for helseforetakene og instituttene. Etter utvalgets syn er det viktig at det arbeides systematisk med å forbedre datagrunnlag og metoder for å sammenligne innsats og resultater. Det er også viktig at Kunnskapsdepartementet i samarbeid med andre berørte parter setter av tilstrekkelig med ressurser til dette.

Gjennomsiktighet, medvirkning og samarbeid om utveksling av lokalt produserte data preger de nye kildene til forskningsstatistikk. Et barometer for norsk forskning bør kunne utvikles i en slik retning. Det innebærer at data over tid bør utvikles slik at det blir mulig å ta ut statistikk på både individ- og institusjonsnivå for publiseringer, siteringer og nedlastinger av elektronisk publisert materiale.

Vitenskapelig publisering er ujevnt fordelt mellom forskere. En slik fordeling er vanlig internasjonalt og utgjør ikke nødvendigvis et problem. Dersom en stor andel av forskere med avsatt tid til forskning ikke publiserer, eller publiserer svært lite i kanaler som forskersamfunnet selv anser som viktige, er det en mulig kilde til ineffektivitet. Etter utvalgets mening er det behov for å rette større oppmerksomhet mot forskningstid som ressurs. Utvalget anbefaler at alle norske forskningsinstitusjoner som mottar betydelig offentlig finansiering, utarbeider oversikter av den typen som flere universiteter allerede har laget, og at resultatene etter hvert gjøres offentlig tilgjengelige på institusjonsnivå gjennom forskningsbarometeret, jf. kapittel 5.

Mønstre for sysselsetting, karriereutvikling og mobilitet av forskere og forskerutdannede er sentrale aspekter ved et velfungerende forskningssystem og bør kartlegges bedre i Norge. En slik kartlegging vil kunne gi grunnlag for å utvikle indikatorer som kan gå inn i forskningsbarometeret.

Forskningskvalitet er en viktig dimensjon ved et velfungerende forskningssystem. Den kan vanskelig måles ved hjelp av indikatorer alene, men kan vurderes for eksempel ved å bruke ekspertpaneler. I den forbindelse vil utvalget peke på at Norges forskningsråd har som oppdrag å gjennomføre systematiske og jevnlige evalueringer av norsk forskning på fag- eller institusjonsnivå. Man kunne systematisere resultatene fra slike evalueringer og dermed gi bedre oversikt over kvalitet i norsk forskning. Utvalget foreslår at man med jevne mellomrom (3-5 år) supplerer forskningsbarometeret med kvalitative vurderinger, ved å bygge på evalueringer som gjennomføres av Forskningsrådet.

Resultater fra forskningsbarometeret

Resultatene fra forskningsbarometeret har pekt på en del utfordringer for det norske forskningssystemet.

Selv om norsk forskning har vært inne i en positiv utvikling i senere år jamført med andre land, får vi mindre ut av ressursene enn flere av de landene vi sammenligner med. Norsk forskning har ikke det samme gjennomslag i internasjonale forskningsmiljøer som for eksempel forskning i Danmark og Nederland. Det er ønskelig med tiltak som kan bedre dette. Dessuten har analysen avdekket store forskjeller mellom norske universiteter og høyskoler, både med hensyn til hvor mye forskningsproduksjon de får ut av midlene og hva slags gjennomslag denne forskningen har. Disse resultatene peker etter utvalgets syn på et betydelig potensial for forbedring innenfor det offentlig finansierte forskningssystemet.

Indikatorene for sampublisering viser at norske forskere har en internasjonal orientering på linje med forskere i sammenlignbare land, og at forskere i instituttene og helseforetakene har et utstrakt samarbeid med forskere i universitets- og høyskolesektoren. Disse indikatorene gir et rimelig positivt bilde av tilstanden i det norske systemet.

Det siste tiåret har det vært en kraftig vekst i avlagte doktorgrader, og vi ligger nå på over 1100 doktorgrader i året. Utvalgets analyse viser at det ikke vil være tilstrekkelig til å dekke behovene framover. Målt som uteksaminerte forskningsutdannede per tusen sysselsatte i alderen 25-64 år ligger Norge fortsatt langt bak Finland og Sverige.

Norske institusjoner henter hjem en mindre andel av sine FoU-utgifter fra EU enn tilsvarende institusjoner i andre land. Det reiser spørsmålet om de norske institusjonene har en tilstrekkelig aktiv, internasjonal orientering og om de er konkurransedyktige.

Næringslivets bruk av det offentlige forskningssystemet, målt gjennom hvor stor andel av FoU-utgiftene som dekkes i form av inntekter fra næringslivet og målt gjennom innovative bedrifters samarbeid, gir grunn til å stille spørsmål om koblingene mellom næringsliv og det offentlige forskningssystemet i Norge er for svake.

Etter utvalgets syn er det behov for tiltak som fører til

• økt kvalitet i norsk forskning

• mer effektiv utnytting av ressursene

• et omfang på forskerutdanningen som møter samfunnets behov

• økte inntekter fra EU

• sterkere koblinger mellom det offentlige forskningssystemet og næringslivet.

Videre utvikling av kunnskapsgrunnlaget

Et godt kunnskapsgrunnlag for måling av innsats, resultater og hvilke effekter ressursinnsatsen har på samfunnet, er nødvendig for å kunne vurdere om de offentlige ressursene bidrar til god måloppnåelse. Kunnskapsgrunnlaget er på mange områder mangelfullt.

Som vist foran pågår det et aktivt arbeid for å styrke kunnskapsgrunnlaget internasjonalt. Utfordringer som trekkes fram, er nettopp behovene for å utvikle ny kunnskap og bedre forståelsen av sammenhengen mellom de ulike innsatsfaktorene og deres økonomiske og sosiale konsekvenser.

Utvalget har i sine forslag til indikatorer tatt utgangspunkt i og brukt tilgjengelig informasjon fra eksisterende datakilder. Utvalgets arbeid har avdekket flere svakheter ved data- og kunnskapsgrunnlaget som i enkelte tilfeller gjør det vanskelig å sammenligne land og ulike norske institusjoner. Noe av dette skyldes at dataene er utviklet og samlet inn for et annet formål. I andre tilfeller mangler grunnleggende data, som for eksempel institusjonens fordeling av interne ressurser, informasjon om hvordan publiseringer fordeler seg på forskere og forskningsmobilitet på tvers av institusjoner og sektorer. Forbedring av datagrunnlaget er viktig.

Forskning og utdanning skal bidra til at eksisterende kunnskap og ny viten tas i bruk for å løse viktige oppgaver i samfunns- og næringsliv. I siste instans er det derfor effektene på samfunns- og næringsliv vi bør være opptatt av når vi skal vurdere om forskningssystemet er velfungerende. På dette området er kunnskapsgrunnlaget svakt, også internasjonalt. OECD35 peker på forståelsen av forholdet mellom ulike innsatsfaktorer og deres økonomiske og sosiale konsekvenser som en spesiell utfordring. Utvalget mener at det framover vil være særlig viktig å utvikle kunnskapsgrunnlaget gjennom langsiktig forskning for å få økt forståelse, bedre data og mer dekkende indikatorer om forskningens ulike samfunnseffekter.

Etter utvalgets syn er det behov for et bredt anlagt forskningsprogram som ved hjelp av ulike faglige perspektiver og metoder analyserer den offentlig finansierte forskningen og dens anvendelse i ulike deler av samfunnet. En slik aktivitet bør ha en langsiktig karakter og, blant annet gjennom rekruttering, bidra til å bygge opp kompetanse som er viktig for politikkutforming på dette området i Norge.

4.3.1 Tiltak

Styrking av kunnskapsgrunnlaget: Utvikling av et norsk forskningsbarometer

Utvalget foreslår at det etableres et forskningsbarometer. Etableringen av et kunnskapsgrunnlag som forskningsbarometeret er en grunnleggende forutsetning for å vurdere tilstanden i norsk forskning. Forskningsbarometeret skal fokusere på sammenhengen mellom forskningsinnsats og -resultater. Aktuelle dimensjoner (resultater) vil være publisering, siteringer, utnyttelse av forskningstid (andel med få eller ingen forskningsresultater målt for eksempel gjennom publikasjoner), avlagte doktorgrader, næringslivets og andre deler av samfunnets bruk av det offentlige forskningssystemet og internasjonalisering. På sikt bør det være et mål å utvide forskningsbarometeret med andre dimensjoner og indikatorer som i større grad fanger opp bruk av forskning i samfunns- og næringsliv. Tiltaket bør i hovedsak finansieres gjennom omprioriteringer på Kunnskapsdepartementets budsjett.

Styrking av kunnskapsgrunnlaget: Forskningsprogram

Utvalgets foreslår at opprettes et bredt anlagt forskningsprogram som ved hjelp av ulike faglige perspektiver og metoder analyserer den offentlig finansierte forskningen og dens anvendelse i ulike deler av samfunnet. En slik aktivitet bør ha en langsiktig karakter og, blant annet gjennom satsing på rekruttering til dette forskningsfeltet, bidra til å bygge opp kompetanse som er viktig for politikkutforming på dette området i Norge. Det kan eventuelt også skje gjennom en utvidelse av det eksisterende FORFI-programmet. Forskningsprogrammet krever en bevilgning på 30 mill. kroner per år over fem til ti år. Tiltaket bør i hovedsak finansieres gjennom omprioriteringer på Kunnskapsdepartementets budsjett.