Del 1 Hva er læringsanalyse?

I denne delen av rapporten vil vi først gå gjennom noen utgangspunkter for læringsanalyse. Videre vil vi redegjøre for hva læringsanalyse omfatter, det vil si de ulike formene for læringsanalyse og deres formål.

Vi vil også undersøke hvordan personvern er relevant for læringsanalyse, og noen sentrale forskningstemaer og utviklingsprosjekter innenfor feltet.

2 Utgangspunkter for læringsanalyse

Utvikling og bruk av læringsanalyse inngår i en større kontekst, både i utdanningen og i samfunnet for øvrig. I dette kapitlet vil vi redegjøre for hvordan læringsanalyse henger sammen med læring og teknologi, og hvordan det passer inn i større trender i samfunnet, som digitalisering og bruk av kunstig intelligens. Vi peker også på hvordan læringsanalyse omtales i noen relevante styringsdokumenter for digitalisering i utdanningen.

2.1 Læring

For å forstå og benytte læringsanalyse er det en forutsetning å vite hvordan læring foregår, og hva som er de sentrale forutsetningene for god læring. I prosessen med å fornye læreplanverket for grunnopplæringen bygde man på følgende forståelse av læring: «en aktivitet der en person tilegner seg ny eller endrer og forsterker eksisterende kunnskap, atferd, ferdigheter, verdier eller preferanser og kan involvere og kombinere ulike typer informasjon» (NOU 2014: 7, s. 32). Dagens syn på læring anerkjenner at både kognitive og sosiale aspekter er avgjørende for elever og studenters læring. Vi vet at både individuelle, sosiale og kulturelle forhold spiller en viktig rolle. Læring skjer ved at tenkning, følelser og motivasjon utvikles gjennom et samspill (NOU 2014: 7). Sosiale relasjoner og andre aspekter ved læringssituasjonen påvirker også læringen (Schneider & Stern, 2010; Greeno, 2006).

Læringsforskning deler gjerne læringen inn i ulike nivåer av forståelse og kognitive prosesser (Biggs & Collins, 1982). I kvalitetsmeldingen for høyere utdanning beskrives det mest grunnleggende nivået som å kunne gjengi fakta uten å reflektere noe videre over hva det innebærer, de neste nivåene handler om å forstå og anvende kunnskapen og å se enkle sammenhenger, mens de mest avanserte handler om å analysere, evaluere og se overordnede sammenhenger (Kunnskapsdepartementet, 2017b). I kvalitetsmeldingen finner vi også eksempler på situasjoner hvor kunnskap oppstår og utvikler seg: «når en student stiller et kritisk spørsmål; når en veileder kommenter et resonnement i en bacheloroppgave; når studentene diskuterer seg imellom i en kollokviegruppe» (Kunnskapsdepartementet, 2017b, s. 3). Når det gjelder å tilrettelegge for god læring i høyere yrkesfaglig utdanning, blir relevans i læringsmålene vektlagt: «Et sentralt element i god tilrettelegging for læring er gjennomtenkte og relevante læringsutbyttebeskrivelser som er tilpasset fagets egenart og riktig nivå i Nasjonalt kvalifikasjonsrammeverk for livslang læring» (Kunnskapsdepartementet, 2016a, s. 86).

I NOU 2014: 7 pekes det på syv sentrale forutsetninger for at god læring skal finne sted. Disse forutsetningene er hentet fra flere omfattende forskningsoppsummeringer om læring og har bred støtte i forskningen. Selv om forutsetningene tar utgangspunkt i grunnopplæringen, beskriver de generelle prinsipper som vil være aktuelle for alle utdanningsnivåer.

2.2 Teknologi

Læringsanalyse henger tett sammen med teknologi. Begrepet teknologi har gresk opphav og betyr – enkelt sagt – «læren om teknikker» (Store norske leksikon, 2021). I dag har begrepet imidlertid en utvidet betydning; teknologi omfatter både teoretisk kunnskap, en bestemt type studier og konkrete gjenstander, for eksempel datamaskiner og mobiltelefoner (Bøhn, 2022). Vi kan dermed si at digital teknologi er et underbegrep av teknologi. Både analog og digital teknologi er bærere av informasjon, forskjellen ligger i at den digitale informasjonen er gjort om til tall: digits. Det er i vår sammenheng ikke hensiktsmessig å skille skarpt mellom digital og analog teknologi.

Digitaliseringen har gjort det vanskeligere for brukerne å få innsikt i hvordan teknologien virker. Et eksempel i sammenheng med læringsanalyse er at lærerne ikke alltid vil forstå hva en visualisering av data egentlig viser. Derfor etterlyses det ofte mer innsyn i hvordan teknologien virker og i samvirket mellom analog og digital teknologi.

Innenfor teknologifilosofien spør man seg om teknologien er en determinerende kraft vi ikke får gjort noe med. Det er fortsatt mennesker som utvikler og anvender teknologien, men vi har mindre kontroll over hvordan teknologien brukes. Vi legger til grunn for vårt arbeid at teknologi og samfunn er i vekselvirkning med hverandre.

2.3 Læring med digital teknologi

For dagens elever og studenter er digital teknologi en gjennomgripende del av livet. Det er dermed vanskelig å se for seg at læring skal skje uten bruk av digital teknologi. I norske styringsdokumenter for skole og utdanning har det da også lenge blitt uttrykt en ambisjon om å bedre utnytte potensialet i å bruke digital teknologi i læring. Gjennom den digitale teknologiens historie har det vært knyttet mye optimisme til hvordan digital teknologi kan forbedre læring. Optimismen har imidlertid vært ledsaget av stor skepsis og motstand. Samtidig er det også sterke kommersielle interesser i læringsteknologi, noe som påvirker både holdninger og bruken på ulike måter. I boken Læring med digital teknologi: Teorier og utviklingstrekk trekkes det fram tre overlappende hensikter med å bruke digital teknologi i læringsprosesser (Kluge, 2021, s. 19):

1. Teknologistøttet læring har potensial til å gjøre læringsprosessene mer effektive og effektfulle.
2. Teknologi har endret fag på en slik måte at fagene i seg selv i økende grad er basert på teknologi. Fag og teknologibruk er blitt integrert og vanskelig å skille fra hverandre, dermed må man også lære fagene med bruk av teknologi.
3. Digital kompetanse er viktig i seg selv og kan læres ved å anvende teknologi i de forskjellige fagene.

Kluge (2021) utdyper at teknologien kan være et verktøy for å effektivisere og stimulere til eller endre læring, men at det også kan avspore læringen og redusere evnen til å konsentrere seg. Komplekse og dypere læringsprosesser kan dermed bli skadelidende. Kluge (s. 199) hevder imidlertid at det ikke finnes nok etterrettelig forskning som understøtter dette og at påstanden foreløpig er mest preget av synsing.

Det økende omfanget av teknologistøttet samarbeid på ulike områder i samfunnet har vært en viktig drivkraft for at slik samarbeidskompetanse blir vektlagt i utdanningen. Dermed har bruk av digital teknologi i samarbeid blitt et viktig virkemiddel i både undervisning og læring (Kluge, 2021).

Når digital teknologi tas i bruk i undervisningen, er begrepene digitale læremidler og digitale læringsressurser sentrale. Disse to begrepene skiller seg fra hverandre i hovedsak ved hvilket formål ressursene er utviklet for. Digitale læremidler er utviklet til bruk i opplæringen, mens digitale læringsressurser kan brukes til å understøtte undervisning og læring uten at de er spesielt designet for det (Gilje mfl., 2016; Kelentric mfl., 2017; Kluge, 2021). I denne rapporten bruker vi digitale ressurser som en samlebetegnelse.

2.4 Digitalisering

Digitalisering handler om å bruke teknologi til å fornye, forenkle og forbedre. Det forutsetter i de aller fleste tilfeller omstilling og endring, noe som preger samfunnsutviklingen i stor grad. I offentlig sektor har regjeringen en felles strategi for digitalisering som gjelder fram til 2025 (Kommunal- og moderniseringsdepartementet, 2019). Hensikten med strategien er å understøtte digital transformasjon i virksomhetene og i offentlig sektor som helhet. Digital transformasjon betyr å endre de grunnleggende måtene virksomhetene løser oppgavene på ved hjelp av teknologi (Kommunal- og moderniseringsdepartementet, 2019, s. 3).

Digitaliseringsbegrepet forbindes ofte med effektivisering og forenkling av arbeidsprosesser, og læringsanalyse handler til en viss grad om dette. Ved hjelp av digital teknologi og analysekraft kan det bli enklere å tilpasse undervisningen og studieprogrammer, effektivisere vurderingsprosesser og forenkle dokumentasjon av læringsprosesser og progresjon. Ved å forenkle noen av arbeidsprosessene til underviserne kan man frigjøre tid som kan brukes til å forbedre undervisningen og oppfølgingen av elever eller studenter. Læringsanalyse handler imidlertid om noe mer enn forenkling og effektivisering. Det handler også om å framstille informasjon som elever, studenter, undervisere og læresteder ikke har hatt tilgang til tidligere, slik at de får innsikt til å kunne forbedre læringen. Dermed gjør læringsanalyse det mulig å øke kvaliteten på opplæringen.

2.4.1 Styringsdokumenter for digitalisering i utdanningen

Vi finner flere strategidokumenter og handlingsplaner om digitalisering som retter seg mot grunnopplæringen, høyere yrkesfaglig utdanning og høyere utdanning. I styringsdokumentene for grunnopplæringen nevnes læringsanalyse eksplisitt, mens det omtales mer implisitt i strategidokumentene for høyere utdanning. Når det gjelder høyere yrkesfaglig utdanning, omtaler styringsdokumentene digitalisering på et overordnet nivå uten at vi kan finne konkrete henvisninger til læringsanalyse.

MOOC-utvalget anbefalte å opprette et fagmiljø for læringsanalyse både i delrapporten fra 2013 (s. 83) og i NOU 2014: 5 (s. 13). Med utspring i disse anbefalingene opprettet Kunnskapsdepartementet i 2016 Centre for the Science of Learning & Technology (SLATE), som er et forskningsmiljø for læringsanalyse.

I 2017 ble det utarbeidet en digitaliseringsstrategi for grunnopplæringen som ble fulgt opp med en handlingsplan i 2020. I strategien skisseres det et mål om at elevene bruker læringsanalyse slik at opplæringen tilpasses deres behov og forutsetninger (Kunnskapsdepartementet, 2017a). Målet innebærer at lærere har kompetanse og erfaring til å vurdere fordeler og ulemper med læringsanalyse og adaptive læremidler, men i strategien blir det anerkjent at det kan være utfordrende:

«Nye teknologier og bruk av store datamengder åpner for nye muligheter for adaptive læremidler og læringsanalyse, men krever også økt oppmerksomhet om kvalitet, etikk, personvern og informasjonssikkerhet. For lærere vil det være særlig utfordrende å vurdere hvilke forhåndsdefinerte valg som gjøres i et adaptivt læremiddel, for eksempel hva som måles, hvilket elev- og læringssyn som legges til grunn og hva slags oppgaver og lærestoff som blir tilgjengelig for hvilke elever» (s. 19).

Digitaliseringsstrategien for grunnopplæringen ble altså fulgt opp med en handlingsplan i 2020. I planen legges det særlig vekt på å styrke arbeidet med hvordan skolene best utnytter mulighetene i digitaliseringen samtidig som de ivaretar personvernet (Kunnskapsdepartementet, 2020). Handlingsplanen tar for seg utfordringer i forbindelse med personvern og informasjonssikkerhet, samarbeid om tilgang til digitale læringsressurser, kompetanse hos lærere og skoleeiere og kunnskapsgrunnlaget for digitalisering i skolen. Ett av tiltakene i planen er opprettelsen av ekspertgruppen for læringsanalyse.

Når det gjelder høyere utdanning, omhandler Strategi for digital omstilling i universitets- og høyskolesektoren (2021–2025) seks strategiske satsingsområder som blant annet omfatter digital innovasjon og fleksibilitet i undervisning og læring og utnyttelse av data om kunnskapssektoren (Kunnskapsdepartementet, 2021a). Ambisjonene i strategien er at digital teknologi skal brukes til å utvikle mer tilpassede og fleksible studietilbud, tilrettelegge for bedre læring og gi et bedre utgangspunkt for ledelse og kvalitetsutvikling av studiene gjennom analyser av data.

For fagskolene er Strategi for desentralisert og fleksibel utdanning ved fagskoler, høyskoler og universiteter fra 2021 et relevant styringsdokument. Der blir det framhevet at digital pedagogisk innovasjon og digitalisering for fleksibel utdanning er særlig viktig for å nå målene i strategien (Kunnskapsdepartementet, 2021c).

2.5 Kunstig intelligens

Når dataprogrammer begynner å oppføre seg som intelligente problemløsere med en evne som ligner menneskets, omtaler vi oppførselen som kunstig intelligens (Goodwin, 2020). Det finnes mange overordnede definisjoner av kunstig intelligens (KI), men i regjeringens nasjonale strategi for kunstig intelligens tas det utgangspunkt i definisjonen til EUs ekspertgruppe (Kommunal- og moderniseringsdepartementet, 2020):

«Kunstig intelligente systemer utfører handlinger, fysisk eller digitalt, basert på tolkning og behandling av strukturerte eller ustrukturerte data, i den hensikt å oppnå et gitt mål. Enkelte KI-systemer kan også tilpasse seg gjennom å analysere og ta hensyn til hvordan tidligere handlinger har påvirket omgivelsene» (s. 9).

Når vi snakker om datasystemer og applikasjoner, benytter vi ofte begrepet algoritmer. Algoritmer er presist og formelt formulerte regler som gjør datamaskiner i stand til å løse en oppgave.

Algoritmer som «trenes» opp, kalles lærende algoritmer eller maskinlæring, og det er ved hjelp av disse at utviklingen av kunstig intelligens har skutt fart (Goodwin, 2020). Gjennom maskinlæring kan det utledes et sett med regler, eller maskinlæringsalgoritmer, som til sammen danner matematiske modeller som brukes til å ta beslutninger. Modellene vil normalt kunne agere mer og mer presist etter hvert som mengden data algoritmene kan lære fra, øker.

Modeller som bygger på regelbasert læring, tolker data gjennom å følge forhåndsprogrammerte regler i stedet for å «trenes» underveis. Dersom slike regler kobles sammen til kompliserte beslutningstrær som kan ta automatiserte beslutninger, faller systemet inn under definisjonen av kunstig intelligens (Kommunal- og moderniseringsdepartementet, 2020).

Forskere har vært interessert i sammenhengen mellom læring og kunstig intelligens helt siden 1980-årene (Self, 2015). Men fordi vi har sett en rivende utvikling i både KI og læringsteknologi i den senere tid, har ideen om å bruke KI for å understøtte undervisning og læring blitt styrket. For eksempel har kunstig intelligens nylig blitt utviklet slik at også tale og skrift blir forstått og brukt i en rekke dataprogrammer (Gilje, 2021a), noe som aktualiserer KI for norsk utdanning.

Moderne KI-systemer for læring benytter seg av ulike teknikker og teknologier, som datautvinning (data mining), kunnskapsmodellering og maskinlæring (Avella mfl., 2016).

2.5.1 Intelligent augmentation

Utover kunstig intelligens (KI), som løser ulike oppgaver autonomt, finnes også intelligent augmentation (IA), som er teknologier med mål om å forbedre eller forsterke menneskets intelligens og evner (Shneiderman, 2020). IA skiller seg fra KI ved å la mennesket ha full kontroll over beslutningene som tas. Noen eksempler på teknologier som forsterker menneskets evner, er representasjon av informasjon gjennom for eksempel dashbord og interaksjonsteknologi som utvidet virkelighet, augmented reality (Encyclopedia of Multimedia, 2016; Schmidt, 2017). Gjennom å kombinere læringsanalyse og IA-teknikker kan lærere og undervisere få presis og forståelig informasjon som kan gi et bedre grunnlag for pedagogiske beslutninger (Jivet mfl., 2018).

2.5.2 Etiske retningslinjer for kunstig intelligens

Når teknologien tar beslutninger som påvirker mennesker, er det viktig at den er utviklet etter etiske prinsipper og respekterer menneskerettighetene og demokratiet. Det er særlig viktig når det er barn involvert.

I 2019 lanserte Europakommisjonen etiske retningslinjer for kunstig intelligens (KI). De omfatter fire prinsipper som må følges for å sikre trygg og pålitelig bruk av KI (European Commission, 2019, s. 12).

Disse fire prinsippene er:

• respect for human autonomy
• prevention of harm
• fairness
• explicability

I retningslinjene blir det påpekt at KI ikke skal true menneskenes autonomi. Teknologien må ikke manipulere eller bedra. Den skal snarere utfylle og forsterke menneskenes sosiale og kognitive ferdigheter og bidra til valgfrihet. Derfor må vi etterstrebe at KI er fri for forutinntatthet, fordommer og stigmatisering, slik at den unngår å skade menneskers integritet og verdighet. Videre må KI være transparent. Det må til en viss grad være mulig å forklare hva som ligger til grunn for beslutningene den tar. Alle disse prinsippene blir ekstra viktige når KI brukes der hvor maktforholdet er ubalansert, for eksempel mellom en lærer og en elev.

Med bakgrunn i Europakommisjonens retningslinjer har regjeringen utarbeidet syv prinsipper for etisk og ansvarlig utvikling og bruk av KI i Norge (Kommunal- og moderniseringsdepartementet, 2020, s. 59–60):

1. KI-baserte løsninger skal respektere menneskets selvbestemmelse og kontroll.
2. KI-baserte systemer skal være sikre og teknisk robuste.
3. KI skal ta hensyn til personvernet.
4. KI-baserte systemer må være gjennomsiktige.
5. KI-systemer skal legge til rette for inkludering, mangfold og likebehandling.
6. KI skal være nyttig for samfunn og miljø.
7. Ansvarlighet.

Det siste punktet om ansvarlighet utfyller de andre kravene og innebærer at det skal innføres mekanismer som sikrer at løsninger som er basert på KI, og deres resultater, er ansvarlige. Det skal dessuten rettes særlig oppmerksomhet mot KI som retter seg mot barn.

3 Om læringsanalyse

Læringsanalyse som fagfelt befinner seg i skjæringspunktet mellom forskning på og kunnskap om utdanningsvitenskap, dataanalyse og brukersentrert design. Fagfeltet bygger på en sosioteknisk forståelse av undervisning, læring og vurdering, statistikk, visualisering, kunstig intelligens samt interaksjonsdesign og brukervennlighet (SoLAR, 2022).

Samhandlingen med læringsteknologi er ofte kompleks og multimodal og kan inneholde oppgaveløsning, bruk av video og lyd, kommunikasjon, samskriving og deling. Når elever og studenter arbeider i slike digitale læringsomgivelser, etterlater de digitale spor, for eksempel gjennom navigering, oppgavesvar og responstider. Læringsanalyse innebærer at det blir laget modeller av samhandlingen på grunnlag av de digitale sporene. Representasjon og visualisering av disse modellene brukes til å støtte læringen og forbedre undervisningen (Giannakos, under utgivelse).

Videre i dette kapitlet gjør vi rede for ulike definisjoner av læringsanalyse og hva den har som formål. Vi beskriver også ulike former for læringsanalyse og hva slags datakilder som benyttes i analysene. I tillegg peker vi på sammenhengen mellom læringsanalyse og personvern.

3.1 Definisjon av læringsanalyse

Læringsanalyse er et begrep som er lite brukt på norsk, og hvordan det blir forstått, varierer hos de ulike aktørene i utdanningssektoren. Læringsanalyse er oversatt fra det engelske begrepet learning analytics. Ordet analytics impliserer at læringsanalyse har med digital teknologi å gjøre, ettersom det forklares som «a process in which a computer examines information using mathematical methods in order to find useful patterns».4 Vi benytter begrepet læringsanalyse i tråd med denne forståelsen.

For å få en prinsipiell forståelse av hva læringsanalyse er, viser vi til en definisjon som ble presentert på den internasjonale konferansen Learning Analytics & Knowledge (LAK) i 2011, og som fortsatt brukes i dag:

«Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs» (SoLAR, 2022).

I 2015 ble den oversatt og tilpasset til norsk grunnopplæring av Senter for IKT i utdanningen. Det er den norske definisjonen som benyttes i de fleste offentlige sammenhenger i Norge (Dahl, 2015, s. 2):

«Læringsanalyse omfatter registrering, innsamling, analyse og rapportering av data om elever i en kontekst, der målsettingen er å forstå og forbedre læringsprosessen og det sosiale miljøet der læring foregår.»

Både den opprinnelige definisjonen fra 2011 og den norske oversettelsen forklarer læringsanalyse som konsept. For å få en bedre forståelse av prosessen kan vi se nærmere på hvilke situasjoner og handlinger som inngår i læringsanalyse. Prosessen kan framstilles i en syklus der utgangspunktet som oftest er en læringssituasjon som genererer data. Disse dataene analyseres, og beslutningen som fattes på bakgrunn av analysen, er vendepunktet. Dataene som inngår i analysen kan hentes fra flere kilder enn læringssituasjonen, for eksempel administrative systemer eller registre.

Både datainnsamlingen, lagringen, prosesseringen og analysen er komplekse prosesser som gjennom tiltak og beslutninger kan føres tilbake til læringssituasjonen. Det skjer ved at resultatet fra analysen blir rapportert til den eller de som berøres av den, eller som skal treffe en beslutning på bakgrunn av den. Det kan for eksempel være en student som får innsikt i sin egen læringsprosess, en lærer som vil bruke analysen til å tilpasse undervisningen til en elevgruppe, eller studieansvarlige som vil forbedre et studieprogram.

Forstørr bilde

Figur 3.1 Tilpasset fra visualisering av læringsanalyseprosesser definert i ISO/IEC TR 20748-1.

3.1.1 Formålet med læringsanalyse

Læringsanalyse har som formål å gi informasjon om læring og undervisning til ulike mottakere: elever, studenter, lærere, undervisere, læresteder, skoleeiere, de som tar beslutninger om utdanning på ulike nivåer, og de som forsker på læring. Informasjonen skal bidra til å gi et godt grunnlag for beslutninger og tiltak.

For å kunne ta velinformerte beslutninger trengs det kunnskap om elevenes eller studentenes ståsted og deres læringsprosesser og utvikling. Slik kunnskap blir hentet inn på mange ulike måter, for eksempel gjennom samspill med elever eller studenter, observasjon og ulike former for vurdering. Nasjonale og internasjonale undersøkelser og standardiserte prøver bidrar til kunnskap om større grupper eller om utdanningene i sin helhet. Felles for de ulike måtene å innhente kunnskap på er at de er brikker i et større puslespill som sammen legger grunnlaget for kunnskapsbaserte beslutninger. Læringsanalyse kan være én av disse brikkene.

3.2 Ulike former for læringsanalyse

Læringsanalyse kan ha ulike formål og bruksområder og deles ofte inn i ulike typer, teknikker eller metoder. Det internasjonale forskningsnettverket Society for Learning Analytics Research (SoLAR) beskriver følgende fire tilnærminger (SoLAR, 2022):

• Descriptive Analysis – insight into the past
• Visuell framstilling av statistikk basert på innsamlede data om læring og lærende, for eksempel i beskrivende rapporter.
• Diagnostic Analysis – why did it happen
• Utforsker data og sammenhenger i data for å forstå utfall, og gir blant annet informasjon om relevante indikatorer for læring.
• Predictive Analysis – understanding the future
• Kombinerer historiske data for å finne mønstre og benytter statistisk modellering for å finne sammenhenger mellom ulike datasett og dermed gi prognoser om blant annet frafall, for eksempel gjennom å vise trender og framskrivinger.
• Prescriptive Analysis – advise on possible outcomes
• Analyser som gir anbefalinger om tiltak basert på kunstig intelligens, for eksempel ved hjelp av varslinger, beskjeder eller forslag til handlinger.

3.2.1 Deskriptiv analyse

I en deskriptiv læringsanalyse benytter man seg av data til å framstille trender som gir grunnlag for å oppdage sammenhenger, ofte gjennom visualisering av statistikk. Dataene som inngår i en deskriptiv analyse, kan blant annet være hentet fra læringsaktiviteter, ulike brukerundersøkelser, retningsvalg i løpet av utdanningen og resultater fra standardiserte prøver og eksamener.

3.2.2 Diagnostisk analyse

En diagnostisk analyse har som formål å avdekke hvorfor utfallet ble som det ble. Når man bruker denne formen for læringsanalyse, ser man etter korrelasjoner og mønstre i dataene for å forstå sammenhenger. Hensikten er å bruke resultatene fra analysen til å forbedre utfallet.

Et eksempel på en diagnostisk analyse kan være å finne relevante indikatorer og aktivitetsmønstre blant elever og studenter i programmer som har høy gjennomføringsgrad, og deretter bruke disse funnene til å øke gjennomføringsgraden ved andre programmer. Et annet eksempel kan være å identifisere elevers og studenters misoppfatninger og områder der de trenger mer opplæring eller støtte.

Når det gjelder kvalitetsutvikling på institusjonsnivå eller nasjonalt nivå, kan man bruke diagnostiske analyser til å evaluere strategier og tiltak. På individ- og gruppenivå kan slike analyser brukes til å forstå og optimalisere strategier for læring.

3.2.3 Prediktiv analyse

En prediktiv analyse har blant annet som formål å forutse frafall og behov for oppfølging og er den mest utbredte formen for læringsanalyse i høyere utdanning (Misiejuk & Wasson, 2017). Analysen bygger ofte på bakgrunnsdata om studentene i tillegg til data som er generert gjennom deres læringsaktiviteter. Hensikten er å få innsikt i sannsynligheten for ulike utfall. Lærestedene kan benytte resultatene fra en prediktiv analyse som et grunnlag for å evaluere kvaliteten på utdanningene de tilbyr, slik at de kan gjøre justeringer og tiltak ved behov.

3.2.4 Foreskrivende analyse

En foreskrivende (prescriptive) analyse har som formål å besvare spørsmålet om hva som bør gjøres, ved å gi råd eller anbefalinger om tiltak, beslutninger og handlinger. Slike råd eller anbefalinger kan ha to ulike formål. Det kan enten være å forbedre læringen for den enkelte elev eller student, eller det kan være å bidra på et mer overordnet nivå, for eksempel ved å forbedre et studieprogram. I begge tilfellene er rådene eller anbefalingene basert på ulike former for regelbasert læring, maskinlæring og statistisk modellering. Rådene eller anbefalingene omfatter forslag til handlinger og tiltak som kan igangsettes på ulike nivåer for å forbedre læringen.

3.3 Kilder til læringsanalyse

Alle sporene som elever og studenter etterlater seg i sitt digitale læringsarbeid, lagres i form av data. Disse dataene er det viktigste grunnlaget for læringsanalyse.

Aktivitetsdata benyttes ofte for å betegne en overordnet deskriptiv kategori for data som inngår i læringsanalyse. Begrepet er oversatt fra det engelske activity data, som defineres vidt av den britiske organisasjonen Joint Information Systems Committee (Jisc): «Activity data is the record of human actions in the online or physical world that can be captured by computer» (Kay & Harmelen, 2015).

I det norske KS-prosjektet Aktivitetsdata for vurdering og tilpasning (AVT) blir aktivitetsdata i en læringskontekst beskrevet slik: «Når en elev gjør oppgaver, ser en video eller utfører andre handlinger i et digitalt verktøy, genereres det aktivitetsdata» (Morlandstø mfl., 2019, s. 17). Denne typen data genereres i stort omfang hver eneste dag ved alle norske læresteder og inngår i ulik grad i læringsanalyse.

I tillegg til data fra læringssituasjoner vil det ofte være relevant å hente inn data fra andre kilder, for eksempel administrative systemer eller registre. Noen eksempler kan være demografiske data, data som er hentet inn gjennom spørreundersøkelser – for eksempel om elevers og studenters trivsel – vurderingsdata og data som beskriver sosial interaksjon, for eksempel fra ulike kommunikasjonssystemer.

I sammenheng med læringsanalyse snakker man av og til om at læringsdata er en viktig kilde. Det er vanskelig å finne en omforent definisjon av begrepet læringsdata, men i hovedsak ser det ut til å være en analytisk kategori som benyttes for å fortelle at dataene kan være en kilde til informasjon om elevenes eller studentenes læring. Begrepet læringsdata brukes dermed først og fremst om formålet med innsamlingen og bruken av dataene, og ikke nødvendigvis som en deskriptiv kategori.

3.4 Læringsanalyse og adaptive systemer

I grunnopplæringen finner vi utstrakt bruk av adaptive læremidler (Egelandsdal mfl., 2019) og forsknings- og utviklingsprosjekter om adaptiv vurdering5. Felles for slike adaptive systemer er at de gjør en form for automatisert, individuell tilpasning til elevens ståsted ved hjelp av kunstig intelligens. Et eksempel på en slik tilpasning er at eleven tildeles oppgaver eller får tilgang til hint i et digitalt læremiddel eller i en prøve, med utgangspunkt i hva hen har svart tidligere. Aspekter som tempo, innhold, presentasjonsmodus og tilbakemeldinger kan også bli tilpasset til den enkelte elevs behov, basert på data om hvordan eleven har brukt ressursen (Egelandsdal mfl., 2019).

De fleste adaptive læremidler og prøver har en form for visualisering av progresjon og oppnådde resultater gjennom et dashbord eller lignende. Læreren kan benytte visualiseringen til beslutningsstøtte for ytterligere tilpasninger eller tiltak.

Forstørr bilde

Figur 3.2 Eksempel på lærerens elevdashbord fra det adaptive læremiddelet Multi Smart Øving fra Gyldendal (gjengitt med tillatelse).

Læringsanalyse er i mange tilfeller basert på data fra slike adaptive systemer, som adaptive læremidler eller adaptive prøver. Spørsmålet er derfor om det er hensiktsmessig å regne selve adaptiviteten som en del av læringsanalyse, eller om den bør ansees som en måte å frambringe data for læringsanalyse på. Læringsanalysen vil dermed presentere resultatet av adaptiviteten (hva elevene har svart på en oppgave, hvor mange hint de har brukt, hvor mange oppgaver de har løst, hvor mye tid de har brukt, o.l.). Ettersom adaptive prøver kan gi data om gjennomføringen av prøven og visualiseringer av den, er de relevante for læringsanalyse.

Det finnes gode grunner til å holde læringsanalyse og adaptive systemer som separate felt. De kan for eksempel ha ulike formål. Samtidig er det opplagt at de to feltene samvirker i stor grad, og at læringsanalyse i grunnopplæringen i stor grad vil være basert på data fra adaptive systemer framover. Når vi snakker om læringsanalyse, må vi altså inkludere adaptivitet, men vi kan skjelne mellom læringsanalyse og adaptive systemer som fagfelt og de adaptive systemene er ikke selv definerende for det vi kaller læringsanalyse.

3.5 Læringsanalyse og personvern

Personvern handler om retten til et privatliv og retten til å bestemme over egne personopplysninger. Mye av dataene som inngår i læringsanalyse, vil være personopplysninger, altså data som kan knyttes til en fysisk person, direkte eller indirekte. Personopplysningsloven handler om hvordan personopplysninger skal behandles og brukes. Behandlingen starter allerede ved innsamlingen av personopplysninger, og reglene for hvordan det skal gjøres, bygger på noen

grunnleggende prinsipper og EUs personvernforordning (GDPR), som forplikter alle som behandler slike opplysninger (Datatilsynet, 2021).

Barn har et særskilt behov for vern av sine personopplysninger og sitt privatliv. Det gjenspeiles i Grunnloven § 104, som gir barn en individuell rett til vern om sin personlige integritet. Videre fastslår barnekonvensjonen artikkel 16 at barn ikke skal utsettes for vilkårlig eller ulovlig innblanding i sitt privatliv. Personopplysningsloven og personvernforordningen oppstiller også særregler for barn. I personvernkommisjonens mandat6 finner vi at halvparten av avvikene som ble meldt inn til Datatilsynet i 2019 angående barn, skjedde i skolesektoren.

3.5.1 Prinsipper for vern av personopplysninger

Først og fremst må behandlingen av personopplysninger være lovlig, noe som vil si at det må finnes et rettslig grunnlag for å behandle dem. Når det gjelder behandlingen av personopplysninger i læringsanalyse, vil det aktuelle rettslige grunnlaget ofte være personvernforordningen artikkel 6 nr. 1 bokstav c om «rettslig forpliktelse» eller artikkel 6 nr. 1 bokstav e om «allmennhetens interesse eller utøve offentlig myndighet som den behandlingsansvarlige er pålagt» (Datatilsynet, 2022).

Videre skal behandlingen være rettferdig og gjennomsiktig. Det vil si at den skal oppfattes som rimelig, forståelig og forutsigbar for den som opplysningene omhandler. Ved bruk av læringsanalyse stiller dette prinsippet krav til hvordan man forklarer konsekvensene av behandlingen til elever, deres foresatte, studenter, lærere og undervisere.

Personopplysninger skal bare samles inn når de skal brukes til et gitt formål. Formålet må dessuten være eksplisitt forklart slik at alle berørte forstår hva opplysningene skal brukes til. Det er ikke anledning til å gjenbruke personopplysningene til formål som er uforenelige med det opprinnelige. I mange tilfeller vil data fra læringsanalyse behandles av en tredjepart, og da må den som er ansvarlig for behandlingen, sikre at dataene ikke videreformidles eller behandles i strid med prinsippet om formålsbegrensning.

Et annet prinsipp er at personopplysningene som behandles, skal være korrekte. Dette kan fremstå som selvfølgelig og lett å etterleve, men innenfor læringsanalyse er det en reell risiko for at ukorrekte opplysninger blir behandlet og dermed ender opp som en feilkilde i analysen. I KS-prosjektet Aktivitetsdata for vurdering og tilpasning (AVT) drøftet man risikoen for at en elev svarer på en annen elevs oppgaver, eller at en elev bevisst manipulerer systemet ved å svare feil på oppgaver for å få tildelt lettere eller færre oppgaver (Datatilsynet, 2022). Konsekvensen av slike feilkilder kan være at læringsanalysen gir misvisende eller feil anbefalinger.

Et paradoks i behandlingen av data i læringsanalyse, er knyttet til mengden data som samles inn. Når det gjelder læringsanalyse som benytter seg av maskinlæring, vil en større mengde data øke kvaliteten på analysen. Samtidig har vi et grunnleggende prinsipp som innebærer at man skal begrense mengden innsamlede personopplysninger til det som er nødvendig for å realisere formålet med innsamlingen – det såkalte dataminimeringsprinsippet7. Når man benytter seg av maskinlæring, er det imidlertid vanskelig på forhånd å identifisere hva som er en tilstrekkelig mengde data. Datatilsynet anbefaler følgende tilnærming til dataminimeringsprinsippet når det gjelder maskinlæring (2018, s. 11): «Skal man holde seg til dataminimeringsprinsippet, vil det være naturlig å starte med en begrenset mengde treningsdata, og så følge med på hvordan nøyaktigheten av modellen utvikler seg etter hvert som man mater inn nye data.» Denne tilnærmingen tilsier at tilfanget av nye data ikke lenger er nødvendig når kurven for merverdi i maskinlæringen flater ut.

Til sist i personvernforordningen artikkel 6 nr. 1 finner vi prinsippet om lagringsbegrensning, altså at dataene skal slettes når de ikke lenger er nødvendige for formålet, og at dataenes integritet, konfidensialitet og tilgjengelighet skal beskyttes. Virksomheter som behandler personopplysninger, skal aktivt vise at de tar ansvar for å opptre i samsvar med prinsippene.

3.5.2 Hva er de aktuelle og realistiske begrensningene for læringsanalyse?

Det er tre av de grunnleggende prinsippene for behandling av personopplysninger som er spesielt relevante med tanke på å ivareta personopplysningsvernet i læringsanalyse. Det er prinsippene om at behandlingen skal være rettferdig, åpen og styrt av hva som er relevant og nødvendig (dataminimering). I lys av disse tre prinsippene er det to aspekter ved læringsanalyse som det er særlig interessant å undersøke nærmere fra et personvernperspektiv. For det første er det relevant å se på skillet mellom informasjon som grunnlag for vurdering og informasjon om innsats i grunnopplæringen. For det andre er det relevant å undersøke om det fortsatt skal være mulig for elever og studenter å opprettholde et skille mellom elev-/studentrollen og privatlivet. Disse aspektene vil drøftes senere i rapporten, blant annet i kapittel 6 og 10.

3.5.3 Beslutningssystem eller system for beslutningsstøtte?

Fra et personvernperspektiv er det avgjørende om et verktøy for læringsanalyse kan betraktes som et system for beslutningsstøtte eller som et automatisk beslutningssystem. Er det et menneske som tar en selvstendig beslutning basert på informasjon fra læringsanalysen, eller er beslutningen automatisert i verktøyet? Svaret på dette spørsmålet får konsekvenser for vurderingen av om artikkel 22 i personvernforordningen kommer til anvendelse. Artikkel 22 angir nemlig en rett til ikke å være gjenstand for en avgjørelse som utelukkende er basert på automatisert behandling (Datatilsynet, 2022).

I praksis vil det imidlertid kunne dukke opp noen gråsoner. Det er lett å tenke seg at anbefalinger fra systemer for beslutningsstøtte i noen tilfeller ukritisk vil tas til følge på grunn av tidsnød eller manglende innsikt i hvordan systemet virker. Da vil verktøyet fungere som et beslutningssystem selv om det ikke var intensjonen. Det finnes for øvrig mange systemer som kombinerer de to tilnærmingene i en hybridløsning.

4 Tverrfaglig forskning og FoU

Læringsanalyse viser dels til et tverrfaglig forskningsfelt og dels til pedagogisk bruk i utdanningssektoren. Denne rapporten handler primært om pedagogisk bruk av læringsanalyse og de mulighetene og utfordringene den gir. Før vi begynner å drøfte slike muligheter og utfordringer, skal vi imidlertid kort oppsummere noen forsknings- og FoU-prosjekter om læringsanalyse.

Mye av arbeidet som gjøres på feltet innenfor forskningen og FoU, omfatter praktisk utprøving i småskala. Det er stor aktivitet, men forskningen er fremdeles på et punkt hvor det er vanskelig å se hva som vil være mulig å få til i praksis, hvor gjennombruddene vil komme og hva de juridiske begrensningene vil være (Kluge, 2021). Dessuten har resultatene ofte begrenset direkte påvirkning på etablert pedagogisk praksis, produkter og marked – i hvert fall i første omgang. Kunnskapen har en tendens til å forbli innenfor forskningsmiljøet. På alle nivåer i utdanningen drives det lite forskning på læringsanalyse brukt i reell pedagogisk praksis. Samtidig speiler forskning og FoU-arbeid ulike forestillinger om hva læringsanalyse er, og ambisjoner om hva det kan bli.

Det overordnede bildet i Norge er at mye av den kommersielle utviklingen først og fremst retter seg mot grunnopplæringen. Samtidig har det meste av forskningen både i Norge og internasjonalt foregått innenfor høyere utdanning, noe det pekes på i kunnskapsoversikten fra forskningssenteret SLATE, State of the Field Report on Learning Analytics (Misiejuk & Wasson, 2017). Likevel gir det mening å se på forskning og FoU-arbeid innenfor læringsanalyse som et arnested for potensielle praktiske anvendelser av læringsanalyse på alle nivåer i norsk utdanning.

Læringsanalyse er et tverrfaglig forskningsfelt, noe som vil si at mange etablerte forskningsdisipliner og tradisjoner bidrar på hver sin måte til feltet. Det internasjonale forskernettverket Society for Learning Analytics Research (SoLAR) plasserer læringsanalyse i skjæringspunktet mellom læring (for eksempel utdanningsforskning, vurderingsteori, læringsteknologi), analytics (for eksempel statistikk, visualisering, informatikk, kunstig intelligens) og menneske-maskin-interaksjon (for eksempel brukervennlighet, deltakende design, sosioteknisk systemtenkning) (SoLAR, 2022).

Et utvalg kunnskapsoversikter (Siemens, 2013; Misiejuk & Wasson, 2017; Sclater, 2017) supplerer fagfeltet med blant annet beslutningsstøttesystemer, brukermodellering, databaser, datautvinning, filosofi, informasjonsvitenskap, kognitiv modellering, lingvistikk, naturlig-språklig prosessering, psykologi, nettverksanalyse og sosiologi. Videre står etikken naturligvis helt sentralt, og det samme gjør dens juridiske implikasjoner.

Samlet sett er læringsanalyse et ungt forskningsfelt, selv om mange av enkeltdisiplinene naturligvis har en lang historie, slik som etikk, filosofi, informatikk og jus. Til og med kunstig intelligens – som i seg selv er et «nytt» og tverrfaglig forskningsfelt – hadde sin første konferanse allerede i 1956. Historikere med spisskompetanse på vitenskap vil nok mene at et forskningsfelt tar form med sine første større konferanser, faglige sammenslutninger og publikasjoner. Som nevnt i underkapittel 3.1 fant den første internasjonale konferansen for læringsanalyse sted i 2011: LAK11: 1st International Conference on Learning Analytics and Knowledge (ACM, 2011). Forskernettverket SoLAR ble opprettet samme år, og i 2014 etablerte de Journal of Learning Analytics. Handbook of Learning Analytics ble utgitt i 2017 (Lang mfl., 2017).

Ambisjonen vår her er ikke å gi en dekkende faghistorisk framstilling av et komplekst fagfelt, men kort å presentere et utvalg sentrale forsknings- og FoU-temaer som kan belyse mandatet for ekspertgruppen, og som peker fram mot noen dilemmaer rundt læringsanalyse som vi diskuterer i rapportens andre del.

4.1 Teoristyrt læringsanalyse og tilrettelegging for læring

4.1.1 Kobling mellom læringsanalyse og læringsdesign

En hovedhensikt med læringsanalyse er å få et grunnlag for å vurdere hvordan elementene i den enkelte læringssituasjonen eller i hele fag, emner eller program best bør organiseres og tilrettelegges. Derfor er det et sentralt tema for forskningen hvordan læringsanalyse kan bidra til å forbedre og utvikle læringsomgivelser og tilrettelegge for læring. Et av forskningsperspektivene tar utgangspunkt i at det å tilrettelegge for læring er en designprosess (Laurillard, 2012). Både designprosessen og dens resultater omtales som læringsdesign (Canole, 2010; Coper, 2006; Mangaroska & Giannakos, 2019; Wasson & Kirschner, 2020). Begrepet læringsdesign betyr ikke at selve læringen kan designes, men at tilretteleggingen for læring kan det. Læringsdesign skal derfor forstås som design for læring.

Et læringsdesign kan bestå av en rekke elementer. Utgangspunktet er en læringsteoretisk begrunnelse for designet, og med bakgrunn i begrunnelsen og aktuelle mål for læringen, velger og beskriver man bestemte vurderingsformer og læringsaktiviteter i en bestemt rekkefølge. Videre velger man innhold og roller med ulike funksjoner. Et læringsdesign er altså en pedagogisk plan for læringsprosessen. Læringsdesignet er både en kunnskapsbasert aktivitet og en beskrivelse av hvordan et faktisk studietilbud eller undervisningsopplegg er utformet.

Noe av forskningen på læringsanalyse handler om hvordan læringsanalyse kan benyttes til å undersøke kvaliteten på læringsdesignet og til å forbedre det. Når man forbedrer et læringsdesign, forbedrer man betingelsene for læring, for eksempel kvaliteten på og egnetheten til valgte læremidler, læringsaktiviteter og vurderingsformer.

Forstørr bilde

Figur 4.1 Modell for syklisk utvikling av læringsdesign, etter Sclater (2017, s. 67).

Sclater (2017) peker i sin gjennomgang av litteraturen om læringsanalyse på at læringsdesign «trenger» læringsanalyse for å validere et valgt design. Samtidig forutsetter læringsanalyse et underliggende læringsdesign som avgjør hvilke data og hvilke analyser som er relevante.

Den gjensidige avhengigheten beskrives med en syklisk modell (figur 4.1). Her ser vi at valg i utformingen av læringsdesignet påvirker studentens læringsatferd og lærerens undervisning, noe som igjen påvirker læringsresultatene. Alle leddene i syklusen sees i sammenheng ved hjelp av læringsanalyse, og gir feedback til de som er ansvarlige for læringsdesignet. Læringsanalysen fører til at læringsdesignet blir videreutviklet. Hvilke typer data som samles inn, og hvordan de analyseres og tolkes, avhenger av hvilke spørsmål de ansvarlige trenger svar på for å utvikle et best mulig læringsdesign.

Mangaroska & Giannakos (2019) har gjennomgått mye av forskningen som spesifikt utforsker koblingen mellom læringsanalyse og læringsdesign. I likhet med Sclater (2017) viser de til Lockyer mfl. (2013), som betrakter «learning design as a form of documentation of pedagogical intent that can provide the context for making sense of diverse sets of analytic data» (s. 1439). I tråd med dette ser Mangaroska & Giannakos (2019) læringsdesign som «documentation of pedagogical intent that provides the context to interpret the analytics from the diverse data sets» (s. 517). Relasjonen mellom læringsdesign og læringsanalyse beskriver de slik:

«Without theoretical grounding of learning analytics and contextual interpretation of the collected data, learning analytics design capabilities are limited. From this perspective, learning design is utterly important as it provides the framework for analyzing and interpreting data, learner’s behavior, and successful or inefficient learning patterns.» (s. 516).

Mangaroska & Giannakos (2019) tar for seg totalt 43 artikler og identifiserer to ulike tilnærminger til henholdsvis læringsdesign og læringsanalyse. De ser deretter på hvordan trinnene og elementene i læringsdesign kan sammenstilles med trinnene og elementene i læringsanalyse.

Når det gjelder læringsdesign, er den første tilnærmingen Open University Learning Design Initiative (Rienties mfl., 2017). Denne tilnærmingen blir støttet av den britiske teknologileverandøren for høyere utdanning og forskning, Jisc, og omtaler derfor studenter. Modellen som inngår i tilnærmingen, beskriver syv kategorier av aktiviteter som et læringsdesign inneholder (Rienties mfl., 2017, s. 136):

• Kategorien assimilative omfatter aktiviteter hvor studenter tilegner seg informasjon som er pålagt av en underviser.
• Kategorien findingand handlinginformation fremmer utvikling av ferdigheter.
• Kategorien communicative omfatter all kommunikasjon mellom studenter og mellom studenter og undervisere.
• Kategorien productive legger vekt på at studentene aktivt utvikler noe.
• Kategorien experiential tar høyde for at studentene drar veksler på kunnskapene sine i reelle eller simulerte situasjoner.
• Kategorien interactive/adaptive omfatter utforsking av problemer i simulerte eksperimenter eller rollespill.
• Kategorien assessment omfatter alle former for vurdering.

Den andre tilnærmingen er Campbell & Oblingers (2017) femtrinnsmodell for læringsanalyse (capture, report, predict, act, refine). Mangaroska & Giannakos (2019) har under hvert av de fem trinnene lagt til et nivå med elementer som speiler den samlede faglitteraturen de har analysert:

• Capture omfatter alle datainnsamlingsmetodene som er brukt i de ulike studiene.
• Report viser til teknikkene som forskerne i studiene benyttet for å kommunisere læringsanalysens resultater til brukerne
• Predict tar for seg hvilken hensikt som ligger bak eventuell bruk av prediksjonsmodeller for frafall og annet.
• Act omfatter ulike typer handlinger og oppfølging i studiene.
• Refine viser til endring og redesign av læringsaktiviteter i studiene.

Videre har Mangaroska & Giannakos (2019) kombinert de to rammeverkene: Open University Learning Design Initiative (Rienties mfl., 2017) og Campbell & Oblingers (2017) femtrinnsmodell for læringsanalyse, inkludert elementene de har lagt til under hvert trinn. Kombinasjonen utgjør et generisk «taksonomi-tre» som de omtaler som Learning Analytics for Learning Design Taxonomy (figur 4.2).

Mangaroska & Giannakos (2019) framhever at i en praksis som bygger på et slikt taksonomisk rammeverk, er hensikten at man kan utføre læringsanalysen med utgangspunkt i et pedagogisk motivert læringsdesign. Hensikten med analysen er å forstå læringsprosesser i konteksten som læringsdesignet beskriver. Samtidig vil analysen gi grunnlag for å gjøre endringer i læringsdesignet. Akkurat som i Sclaters (2017) modell ovenfor (figur 4.1) forstås prosessen som en syklus som skal gi grunnlag for å forbedre læringsdesignet og læringsanalysen trinnvis. Mangaroska & Giannakos (2019, s. 529) konkluderer med at Learning Analytics for Learning Design Taxonomy er en:

«proposition on how the findings from the selected studies can be used to derive classification and establish selection criteria for extracting pedagogically valuable learning analytics metrics from specific learning design activities.»

Forstørr bilde

Figur 4.2 Learning Analytics for Learning Design Taxonomy. Etter Mangaroska & Giannakos (2019, s. 530).

4.1.2 Læringsanalyse og samarbeidslæring

Et sosiokulturelt læringssyn med fokus på elev- og studentaktivitet preger mye av den internasjonale forskningen på læringsanalyse. Et slikt læringssyn har en sterk kollektiv dimensjon der individets læring og meningsskaping foregår i betydelig grad i samspill med andre gjennom ulike varianter av samarbeidslæring. Ifølge Misiejuk & Wassons (2017) analyse av temaene i forskningsfeltet er samarbeidslæring (CSCL, computer supported collaborative learning) dominerende som pedagogisk tilnærming.

Å utforske rollen til læringsanalyse i samarbeidslæring er et sentralt forskningstema (Chen & Teasley, 2022). Et norsk eksempel på et slikt arbeid er det fireårige forskningsprosjektet TeamLearn – Teamwork analytics for training collaborative problem solving in professional higher education.8 Prosjektet er rettet mot høyere utdanning, og forskerne skal undersøke hvordan læringsanalyse kan bidra i studier om problemløsning og teambasert læring. Studieprogrammene de ser på, er sykepleie, medisin og rettsvitenskap.

Prosjektet undersøker om læringsanalyse potensielt vil kunne bidra til datastøttet gruppedannelse, å gi systematiske oversikter over individuelle aktiviteter og bidrag, å utvikle og distribuere innhold, å støtte sosial samhandling og (sam)produksjon, å gi grunnlag for gruppebeslutninger, å gi vurderinger og adaptiv veiledning av gruppearbeid og å gi automatisert og prosessorientert individuell feedback. De tar sikte på å utarbeide en analyse hvor datakildene kan være alt fra interaksjon i samarbeidsløsninger og andre dataprogrammer til lokaliseringssensorer, mikrofoner, wearables, pasientsimulatorer osv. Mye av forskningen vil dreie seg om å finne ut hvilke typer data som ut fra ulike formål vil egne seg for å gi meningsfulle oversikter og grunnlag for handling.

For sammenhengen mellom læringsanalyse og samarbeidslæring, står nettverksanalyser sentralt (Poquet & Joksimovic, 2022). Ulike former for nettverkskart i en sosial nettverksanalyse vil visualisere forbindelser mellom deltakerne, samhandlingsfrekvens, samhandlingsroller og samhandlingsmønstre. Andre typer nettverksanalyser kan avdekke mønstre i for eksempel argumentasjon og viktigheten gruppen tillegger ulike temaer. Selvrapportering i slike analyser vil kunne vise deltakernes opplevde roller, opplevde verdier av bidrag og opplevde samspillsmønstre (Poquet & Joksimovic, 2022).

4.2 Forskning på læringsanalyse og etikk

En del av forskningen på læringsanalyse handler om hvordan læringsanalyse bør utforskes og brukes på riktige, ansvarlige og gode måter, og konsekvensene av det motsatte. Bruken av læringsanalyse har en rekke etiske dimensjoner som er av interesse for forskningen. Også her er mesteparten av forskningen relatert til høyere utdanning, men funnene kan være relevante for alle utdanningsnivå.

Pargman & McGrath (2021) gjennomgår den empiriske litteraturen innenfor etikk og læringsanalyse i høyere utdanning og påpeker at den i liten grad handler om bruk av faktiske systemer og utfordringer som oppstår i den forbindelse. Når bruken av systemer faktisk blir omtalt, gjøres det gjerne i generiske termer. I stedet for handler en overveiende andel av de empiriske studiene om respondentenes holdninger, opplevelser, perspektiver og syn på læringsanalyse. De fleste studiene tar dessuten et institusjonelt perspektiv. Perspektivet til dem som genererer det meste av dataene, nemlig studentene, er lite synlig.

Ellers finner Pargman & McGrath (2021) at både ansatte og studenter er mangelfullt informert om læringsanalysesystemer og dataforvaltning. Studentene viser en manglende forståelse av læringsanalysesystemer. Videre kjenner de i liten grad til retningslinjene for etikk og datasikkerhet ved sin egen institusjon, bruken av læringsanalyse i emnene de tar, og implikasjonene læringsanalyse måtte ha for deres egen læring. Pargman & McGrath (2021) påpeker for øvrig at det å be respondenter om å dele erfaringer med og oppfatninger om etiske temaer knyttet til systemer og praksiser de ikke kjenner til, er en betydelig metodisk utfordring i empiriske studier av læringsanalyse i høyere utdanning.

Det er likevel gjort gode forsøk på å se de etiske utfordringene fra studentenes ståsted. Kapitlet om etikk i Sclater (2017) gir en grundig oversikt over litteraturen, der også studentenes perspektiv er ivaretatt. Sclater starter sin gjennomgang med å understreke at når data om studentene uansett blir generert og samlet i store mengder i loggsystemer for drifts- og rapporteringsformål, vil det være direkte uansvarlig av lærestedet å ikke utnytte disse dataene til å forbedre undervisningen. Han poengterer at bedre kvalitet på læringen til syvende og sist vil øke studentenes muligheter i livet. Her viser Sclater til Slade & Prinsloos (2013, s. 1521) prinsipper for et etisk rammeverk for læringsanalyse, hvor det i det sjette prinsippet heter at «[i]gnoring information that might actively help to pursue an institution’s goals seems shortsighted to the extreme». Dette prinsippet er siden gjentatt av Ferguson (2019) som en «Duty to Act». I Sclaters (2017) gjennomgang av litteraturen identifiserer han følgende etiske utfordringer når denne plikten til å handle er «etablert»:

Irrelevante, feilaktige eller ukomplette data

Sclater (2017) framhever at å trekke slutninger på grunnlag av én datakilde kan være uheldig, og det er generelt bedre å bruke data fra flere kilder. De vanligste kildene for læringsanalyse er læringsplattformer og studentadministrasjonssystemer. Disse fanger opp data fra en begrenset del av det læringsarbeidet som faktisk foregår. Mye av studentsamarbeidet og det individuelle arbeidet foregår i skyløsninger som ligger utenfor lærestedets kontroll. Det å begrunne beslutninger på grunnlag av begrensede data er risikofylt. Men det å hente inn data fra så mange kilder som mulig, vil ikke nødvendigvis gi bedre resultater. Beslutninger som tas på grunnlag av data, må bygge på relevante, korrekte og mest mulig komplette data med hensyn til hva som er formålet med innsamlingen. Disse retningslinjene underbygges av prinsippene for vern av personopplysninger, som vi har beskrevet i underkapittel 3.5.1.

Ugyldige prediksjoner

Her peker Sclater (2017) på faren for å trekke konklusjoner på grunnlag av feilaktige korrelasjoner, og at brukere ofte er forvirret når det gjelder forskjellene mellom kausalitet og korrelasjon. Et vanlig premiss i prediktiv læringsanalyse er at det er en sammenheng mellom studenters engasjement i læringsaktiviteter og deres mulighet for å lykkes med læringen eller sannsynligheten for frafall. Et høyt engasjement i læringsaktiviteter kan både bety at studenten strever og at hen har stor framgang i læringen. Engasjement i læringsaktiviteter kan dessuten utspille seg på en slik måte at det ikke genererer data som lærestedet har tilgang til. Sclater (2017) oppsummerer at det er etisk uklokt å stole blindt på algoritmers resultater, særlig når algoritmene kommer fra kommersielle aktører og brukerne ikke har full innsikt i hvordan de fungerer. Det er vanskelig å etterprøve at leverandørene leverer prediksjoner med stor treffsikkerhet, og slike algoritmer kan dessuten være vanskelige å overføre til nye sammenhenger. Misiejuk & Wasson (2017, s. 61) påpeker i sin litteraturgjennomgang at: «[P]redictive models are situation dependent and there is little evidence that they may be transferable to other contexts».

Undergraving av studentens autonomi

Ifølge Sclater (2017) sin oppsummering av litteraturen kan adaptive læremidler «infantilisere» studenter ved å mate dem med automatiserte forslag som gjør læringsprosessen mindre krevende. Videre peker han på at adaptiviteten kan være utviklet på bakgrunn av typiske mønstre, noe som kan bli misvisende på individnivå. En etisk utfordring som følger med et økende antall beslutninger som gjøres av algoritmer, er at vi kan risikere å bli behandlet ut fra predikeringer om våre framtidige handlinger i stedet for hva vi faktisk gjør. Videre trekker han fram at læringsanalyse kan skape ekkokamre som tilbyr innhold og tjenester vi foretrekker, snarere enn å utfordre oss.

Demotivering

Sclater (2017) viser til at noen prediktive læringsanalyser gir en oversikt over hvor studentene plasserer seg faglig innbyrdes. Det kan være motiverende for noen studenter å se hvor deres medstudenter plasserer seg, slik at de har noe å strekke seg etter. For mange kan det imidlertid slå motsatt ut. I en undersøkelse av 394 studenter ved Universitetet i Bergen fant Botnevik (2021, s. 66) at 31,2 prosent av studentene ikke ønsket en læringsanalyse som viser hvordan de gjør det sammenlignet med andre studenter. Jivet (2021) argumenterer for at «[s]tudents want to be able to decide […] whether they are compared with peers» (s. 82). Hvis studentene får kjennskap til prediksjonene, kan de ifølge Sclaters (2017) gjennomgang ha selvoppfyllende effekt. Samtidig vil det være etisk tvilsomt ikke å la studentene få tilgang til denne informasjonen om seg selv.

Negative følger av «overvåking»

Sclater (2017) viser til at det å vite at ens aktiviteter hele tiden er gjenstand for «overvåking», kan gi utslag i form av stress og at studentene kan endre atferd. Hvis man vet at bruken av læremidler og læringsressurser blir logget og analysert, kan det være fristende å handle taktisk. Sclater (2017) nevner eksempler som å la videoer stå på, åpne dokumenter ofte eller gjøre andre ting som gir inntrykk av at man er mer aktiv enn det som faktisk er tilfellet.

Individet som nummer

Sclater (2017) peker på at algoritmer og indikatorer per definisjon er reduksjonistiske overfor et menneskes helhetlige situasjon, og det kan være uheldig. Han viser til at læringsanalyse kan innebære en forenklet framstilling av noens læringsprosess, særlig siden mye læring og læringsarbeid bedrives utenfor lærestedets kontroll og oversikt. Sclater (2017, s. 213) nevner fra sitt eget arbeid ved Jisc at studenter ønsket å kunne legge inn en beskrivelse av årsaken til at de underpresterte (forsinkede innleveringer, fravær i obligatorisk undervisning o.l.), slik at det ikke skulle påvirke rangeringen deres.

Prioritering

I litteraturen som Sclater (2017) oppsummerer, vises det til potensielle gevinster for lærestedene ved å identifisere studenter som trenger ekstra utfordringer eller oppfølging. Men en klassifikasjon av enkeltstudenter som høyt- eller lavtpresterende på grunnlag av aktivitetsdata kan for det første bygge på feilkilder. For det andre tar klassifikasjonen oppmerksomheten og lærestedets ressurser bort fra majoriteten av studenter som faller mellom ytterpunktene.

4.3 To norske FoU-eksempler

Innenfor forskningsfeltet læringsanalyse er det gjort få studier som ser på implementasjon, bruk og resultater av læringsanalyse i faktiske læringssituasjoner. Det skyldes delvis at læringsanalyse er et umodent felt, og at kunnskapen ofte forblir i forskningsmiljøene uten å endre undervisningspraksisen nevneverdig. Det meste av forskningen i Norge utføres i høyere utdanning der hele studietilbudet som blir undersøkt ofte er designet nettopp for å utforske læringsanalyse.

Mye av den praktiske aktiviteten foregår derimot i grunnopplæringen, men her forskes det mindre på læringsanalyse. Det er derfor interessant å trekke fram det mest omfattende og gjennomgripende norske forsknings- og utviklingsprosjektet om læringsanalyse så langt, som utføres i grunnopplæringen. Samtidig foregår det også utviklingsprosjekter i høyere yrkesfaglig utdanning, noe vi skal se nærmere på nedenfor.

4.3.1 Aktivitetsdata for vurdering og tilpasning (AVT)

Prosjektet Aktivitetsdata for vurdering og tilpasning (AVT) er et forsknings- og utviklingsprosjekt som tar for seg bruk av læringsanalyse i grunnopplæringen. AVT er eid og finansiert av KS og har SLATE og Utdanningsetaten i Oslo som hovedpartnere. I tillegg er en rekke kommuner og leverandører tilknyttet prosjektet. AVTs første prosjektperiode (AVT1) varte fra 2017 til 2019 (Morlandstø mfl., 2019). SLATE ledet prosjektet i denne perioden. KS bevilget deretter midler til å videreføre prosjektet til 2023 (AVT2). Også i denne andre prosjektperioden deltar KS, Utdanningsetaten i Oslo og SLATE. Fra 2021 til våren 2022 deltok prosjektet i Datatilsynets regulatoriske sandkasse for ansvarlig kunstig intelligens (Datatilsynet, 2022).

På et overordnet nivå skal AVT-prosjektet være en pådriver for å utvikle nasjonale fellesløsninger, retningslinjer, normer og infrastruktur. Prosjektet går ut på å undersøke mulighetene for å dele aktivitetsdata mellom leverandørene av digitale læremidler i skolen, slik at de kan gi en bedre tilpasset opplæring (Morlandstø mfl., 2019). Prosjektet har som resultatmål å utvikle et rammeverk for læringsanalyse som strukturerer data som genereres av elevers arbeid med digitale verktøy. Videre skal prosjektet jobbe mot en infrastruktur som gir en sikker dataflyt mellom leverandører, og som inneholder ressurser som kan hjelpe eleven videre. Et annet mål med prosjektet er å tilby et referansepunkt for skoleeiere og innholdsleverandører i hele landet ved anskaffelser og utvikling av digitale læremidler.

I det følgende beskriver vi kort noen av de viktigste ambisjonene med AVT-prosjektet. For lesere som ønsker mer detaljert informasjon, viser vi til prosjektets forskningsrapporter (Morlandstø mfl., 2019; Wasson mfl., 2019) og Datatilsynets sluttrapport om den regulatoriske sandkassen (Datatilsynet, 2022).

Rammeverk for læringsanalyse

Helt konkret har AVT som oppdrag å utvikle et rammeverk for læringsanalyse som er sammensatt av tre hovedelementer, eller modeller:

1. Fagkartet. For at aktivitetsdata for samme elev skal kunne hentes fra ulike digitale læremidler og analyseres samlet, må datagrunnlaget være sammenlignbart. Oppgavene i de ulike læremidlene må være merket med samme referanser til fagområde og tema. Som en del av prosjektet har det derfor blitt utviklet et fagkart med utgangspunkt i læreplanverket, med et tilhørende verktøy for merking. Foreløpig er fagkartet bare utviklet for matematikk- og engelskfaget. De involverte leverandørene utvikler derfor læremidler for disse fagene. Fagkartet gjør det mulig for leverandører av digitale læremidler å merke oppgaver og innholdselementer med fagområde og tema på en felles og enhetlig måte, slik at det blir mulig å bruke læringsanalyse for å tilpasse opplæringen.
2. Integrering av aktivitetsdata. Ulike leverandører av digitale læremidler må kunne dele og integrere data med hverandre på en sikker måte. Prosjektet har valgt xAPI9 som standard overføringsformat for dataene. Når eleven utfører oppgaver under et bestemt område i fagkartet, er ideen i prosjektet at leverandøren kan spørre etter aktivitetsdata hos andre leverandører hvor eleven har gjort oppgaver under det samme området i fagkartet. Det må riktignok være klare regler for hvordan leverandørene etterspør data, ikke bare for å sikre at dataflyten blir korrekt, men også for å sikre elevenes personvern.
3. Læringsmodell. Prosjektet har levert en skisse til en modell som beskriver elevenes forståelse og ferdigheter innenfor bestemte deler av fagkartet (Wasson mfl., 2019). I skissen framhever de at det må lages en læringsmodell (learner model) som representerer elevenes kunnskapsnivå på ulike punkter i fagkartet, for å kunne identifisere og representere områder i fagkartet hvor en elev eller gruppe trenger mer opplæring, anbefale hvor i fagkartet en enkelt elev bør arbeide og hvilke oppgaver eleven bør jobbe med. En slik læringsmodell bygges opp av en analysealgoritme på grunnlag av aktivitetsdata for den enkelte elev som hentes fra leverandørene. Da skissen til læringsmodellen ble utarbeidet, var datagrunnlaget for begrenset til at det var mulig å lage en modell utover konseptstadiet. Målet med den ferdige modellen er imidlertid at en anbefalingsalgoritme skal kunne foreslå hvilke læremidler som vil hjelpe eleven til å få en bedre forståelse.

Videreføring til AVT2

Formålet med AVT2-prosjektet er å oppskalere og videreutvikle arbeidet i prosjektets første fase.10 Det innebærer blant annet at flere leverandører, kommuner og skoler skal involveres. Prosjektet ønsker å utvikle en løsning for å hente informasjon om tilgjengelige læremidler basert på en metadatastandard for merking av læringsressurser (NS 4180). Det er også planlagt å videreutvikle integrasjonsløsningen for aktivitetsdata via nye Feide og å utforske hvordan infrastruktur og retningslinjer kan gjøre det enklere for både leverandører og skoleeiere å oppfylle regelverket. Prosjektet ønsker dessuten å bidra til å utvikle infrastruktur for å teste alternative anskaffelses- og betalingsmodeller. Ikke minst er hensikten å drive omfattende forskning på læringsanalyse og bruk av aktivitetsdata.

Et annet mål med prosjektet er å utvide fagkartet, slik at det omfatter flere fagområder enn matematikk og engelsk, og å oppdatere applikasjonen «Mitt fagkart» med en læringsmodell som gir informasjon om elevenes kompetanse, og som kan brukes til å optimalisere søk etter læringsinnhold de har behov for. Applikasjonen Mitt fagkart kobler sammen elevenes aktivitetsdata med læreplanenes kompetansemål og analyserer framdriften til elever eller grupper i et fag og hvilke kompetansemål eller temaer som det bør jobbes mer med. Resultatene og anbefalingene fra analysen blir framstilt i ulike visualiseringer for elever, lærere og andre roller.

I AVT-prosjektet har det blitt etablert en forsøksordning for betaling av digitale læremidler basert på bruk, som alternativ til å betale for tilgang. Elevene og lærerne har tilgang til alle produktene som inngår i forsøket. Argumentet prosjektet gir for denne ordningen er at hvert kjøp har en lav pris, og at skolene derfor kan tilby elevene et større mangfold av læremidler. Som en del av prosjektet har det også blitt utviklet et konkurransegjennomføringsverktøy (KGV) som holder rede på bruken av læremidlene og sørger for å fakturere brukerne. De 35 Oslo-skolene som deltok i prosjektet, representerer 25 prosent av elevene i Oslo-skolen, mens de 145 Oslo-skolene som ikke deltok representerer 75 prosent av elevene. Når Utdanningsetaten i Oslo opplyser at AVT-elevene har like mange pålogginger som de øvrige elevene, betyr det at bruken har gått betydelig opp for AVT-elevene.

AVT-prosjektet har deltatt i Datatilsynets regulative sandkasse for ansvarlig kunstig intelligens (Datatilsynet, 2022). Arbeidet har bestått av en serie workshoper som har hatt som formål å utforske rammene for å bruke læringsanalyse i skolen, både rettslig og etisk. Sandkassen har utforsket følgende tre delmål (Datatilsynet, 2022, s. 5):

• Rettslig grunnlag. Om det rettslige grunnlaget for behandling av elevenes aktivitetsdata oppfyller kravene i personvernforordningen. Hvis ikke: hva må til for å oppfylle kravene?
• Elevens personvern. Hvilke konsekvenser kan læringsanalysesystemet ha for elevenes personvern? Hva må de ansvarlige ta hensyn til for å ivareta personvernet til elevene?
• Åpenhet. Hvordan man kan gi informasjon om læringsanalysesystemet til de som skal bruke det (lærere, elever og foresatte)? Hva må det informeres om, og hva bør informeres om?

Konklusjonene fra arbeidet er blant annet at Datatilsynet og AVT-prosjektet har ulike synspunkter på valg av rettslig grunnlag (Datatilsynet, 2022). I AVT-prosjektet har behandlingen av personopplysninger blitt vurdert som en «rettslig forpliktelse». Datatilsynets innspill er at «allmennhetens interesse» synes som det mest passende grunnlaget for behandlingen, men utelukker ikke at «rettslig forpliktelse» kan benyttes. Rapporten fra arbeidet løfter også særlig fram tre risikoer for elevenes personvern. Det er risiko for endret adferd, risiko for ukorrekte personopplysninger i systemet, og risiko for at teknologien påfører elevene uønsket stress (Datatilsynet, 2022). Til sist blir det påpekt i rapporten at det store aldersspennet i elevgruppen er en utfordring for AVT-prosjektet, med tanke på å gi informasjon som er enkel nok for de yngste elevene samtidig som de dekker informasjonsbehovet til de eldste elevene og elevenes foresatte (Datatilsynet, 2022).

4.3.2 Læringsanalyse i nettutdanninger i elektrofag

Også innenfor høyere yrkesfaglig utdanning pågår det forsknings- og utviklingsaktiviteter med læringsanalyse. Et eksempel er prosjektet Modell og verktøy for digital læringsanalyse ved nettutdanninger i elektrofag ved fagskoler (Nordland fagskole, 2022). Prosjektet er støttet av Direktoratet for høyere utdanning og kompetanse (HK-Dir). Deltakerne i prosjektet er Nordland fagskole, Trøndelag høyere yrkesfagskole, Fagskolen i Agder, Fagskulen Vestland og Fagskolen i Troms. Partnere og rådgivere i prosjektet er SLATE og to utdanningsvitenskapelige eksperter fra henholdsvis Aalborg Universitet og Universitetet i Bergen.

Hensikten med å bruke læringsanalyse ved disse nettutdanningene i elektrofag er å sikre både motivasjon og et godt læringsutbytte for studentene. Men like viktig er det at lærerne og ledelsen får informasjon fra læringsanalysen som de kan dra nytte av. Lærerne skal få systematiske tilbakemeldinger som gir dem mulighet til å justere pedagogikken, didaktikken, strukturen og det faglige innholdet underveis. Lederne skal få tilgang til systematiske data om hvordan undervisningen fungerer, og hvordan lærerne lykkes med å engasjere studentene og tilrettelegge for dem underveis. Videre skal det prøves ut å bruke rapporter fra læringsanalyse i styring og som grunnlag for dialog med lærerne. Rapportene kan dessuten benyttes som et viktig verktøy i kvalitetsutvikling og organisasjonsutvikling ved fagskolene (Nordland fagskole, 2022).

Målet med prosjektet Modell og verktøy for digital læringsanalyse er altså å utforske og implementere en modell med digitale verktøy for læringsanalyse. Disse analysene skal bidra til å styrke kvaliteten på undervisningspraksisen, opplegget for nettundervisning og studentenes læringsprosess – altså gi studentene økt motivasjon og læringsutbytte. Samtidig skal analysene bidra til å utvikle lærerrollen og gi ledere bedre styringsdata. Læringsanalysen skal inngå i en didaktisk modell for nettutdanninger. Modellen må tilpasses og integreres i den enkelte deltakerskolens nettpedagogikk, didaktiske praksis og læringsplattform.

Studenter, lærere og skoleledelse har tilgang til hvert sitt dashbord der det blir presentert analyserte data fra læringsplattformen, selvrapporterte data om studentenes progresjon samt indikasjoner på læringskvalitet. Indikasjoner på læringskvalitet blir utarbeidet ved at læringsutbyttebeskrivelser matches med data fra læringsaktiviteter og vurderinger i henhold til meningsskapende helhet (Biggs & Tang, 2011) og organisering av studentenes konkrete læringsmål basert på Biggs & Collis (1982) sin SOLO-taksonomi (Nordland fagskole, 2022).