Kommentarer fra matematikkgruppa til rapporten ”Nasjonale prøver på prøve”

Faggruppa for matematikk har valgt å bruke rammeverket Kompetencer og matematiklæring som er utviklet av flere institusjoner i Danmark. Rammeverket danner også et teoretisk utgangspunkt for matematikk i PISA-undersøkelsen. Likevel har PISA ikke klassifisert oppgavene på denne måten fordi de har betraktet dette rammeverket som uegnet så lenge hver oppgave må klassifiseres i mer enn én kategori.

I rapporten fra utvalgsundersøkelsen står det: Et hovedpoeng ved de foreslåtte kompetansenivåene er at de er ment å være kriterierelaterte, altså at de referer seg til nivåer som er beskrevet i ord ut fra hva elever på dette nivået faktisk kan (og ikke kan). Ideelt sett skulle bruk av et slikt system kunne gi den store fordelen at vi ut fra resultatene kan beskrive i detalj hvor mange elever som kan hva. Et stort problem er imidlertid at disse fem nivåene for hver kompetansekategori er hentet fra et rent teoretisk perspektiv. Det har ikke vært noen utprøving av hvorvidt elever som svarer riktig på en bestemt oppgave, faktisk befinner seg på nivå 5. Slik utformingen av nivåer og kriterier er for denne prøven, blir det for oss et viktig empirisk spørsmål å etterprøve dette: I hvor stor grad er det dekning i resultatene for de angitte nivåene? Vår oppgave blir her å sammenholde teori og empiri. I utgangspunktet fortoner det seg imidlertid for oss uforståelig at et riktig svar kvalifiserer til nivå 5 uavhengig av hvor vanskelig eller lett oppgaven er. Vi kan ikke gjøre annet i vår analyse enn å betrakte de gitte nivåene som poeng som angir hvor godt hver oppgave er besvart. Tilsvarende betrakter vi gjennomsnittet av disse poengene for en elev som et uttrykk for elevens dokumenterte dyktighet innenfor området. (Vår utheving)

Generelle synspunkt
I rapporten finnes det en del sterkt kritiske kommentarer i forhold til det rammeverket som er lagt til grunn for prøvene, og at det ikke finnes flervalgsoppgaver i de to prøvene (4. og 10.). Rammeverket fra prosjekgruppa i matematikk har en skala fra 0 til 5 for hvert delspørsmål og oppgavene er klassifisert i henhold til kategoriene: K: Kommunikasjon, R: Representasjon, symbolbruk og formalisme, T: Matematisk resonnement og tankegang, M: Matematisk modellering og anvendelse, P: Problembehandling.

I rapporten pekes det på at en god del spørsmål/oppgaver er klassifisert i forhold til to eller flere av kategoriene i kodeboken samtidig. Kommentarene fra ekspertene er at ” når oppgavene er designet på denne måten så må disse bli analysert flere ganger fordi de bidrar til forskjellige skalaer”. Dette bidrar til at ” dobbeltkategoriserte” oppgaver må analyseres to eller tre ganger. Dataene viser at kriteriene var så like at det i praksis har dreid seg om å gi samme vurdering to eller tre ganger. Det er analysert data fra 63 deloppgaver, eller så mange som 82 hvis en teller med de dobbeltkategoriserte ”oppgavene”.

På den andre siden peker Gallup-undersøkelsen på at oppgavenes form ” i stor grad” er velkjent for elevene. De vurderes som meget gode når det gjelder å måle god forståelse i faget. Oppgavesettet reflekterer læreplanen på en meget god måte, noe lærerne er enige i, kun 15 % av dem vurderte at oppgavene reflekterer sentrale mål i Læreplanen i ”liten” eller ”svært liten” grad. På spørsmålet ” I hvilken grad mener du elevene fikk vist sine ferdigheter gjennom prøven?” svarte bare rundt 10 % av lærerne ” i liten grad” eller ” i svært liten grad”. Siden prøven har en god validitet i forhold til læreplanens innhold og intensjoner, vil den kunne gi et godt signal til skolene om hva som er viktig å vektlegge i undervisningen.

Prosjektgruppa mener også at prøven inneholder en rekke gode oppgaver for å avdekke grunnleggende begrepsforståelse i matematikk. Likevel pekes det i rapporten på at dette er et åpent spørsmål, og derfor bør diskuteres, i hvilken grad utvalget av oppgaver vektlegger den delen av matematikkompetansen som Kvalitetsutvalget kalte ” basiskompetanse” og som St. meld. Nr. 30 kaller ”grunnleggende ferdigheter”. Matematikkgruppa mener at kompetanse i matematikk inneholder mer enn grunnleggende ferdigheter slik disse er beskrevet i nevnte dokumenter. Kompetanse i matematikk inneholder også for eksempel, det å kunne resonnere, løse problemer, lage modeller, og å kunne kommunisere i og med matematikk. Dette er nærmere beskrevet i prosjektbeskrivelsen for utvikling av nasjonale prøver i matematikk som er er godkjent av UFD før gruppa startet utviklingen av prøvene.

Vi vil også poengtere at kompetanse i matematikk ikke bare kan måles gjennom skriftlige prøver og det vil derfor utvikles nettbaserte prøver til neste ”runde” av de nasjonale prøvene.

Konklusjon fra matematikkgruppa
Matematikkgruppa tar ekspertenes kommentarer svært alvorlig. Vi har hele tiden vært opptatt av at prøvene for 2003 skulle sees på som pilotprøver, og dermed ikke bør brukes som grunnlag for sammenlikning med senere års prøver. Det er flere forhold ved prøvene som ikke er gode nok i forhold til det som er vårt mål. Dette skyldes blant annet at prøveresultatene ifølge vår prosjektbeskrivelse, skal baseres på tre delprøver. For 2003 har vi bare gjennomført én av disse delprøvene.

Dette er likevel ikke hele forklaringen på at prøvene ikke er gode nok. Vi ser at

• det er problematisk med seks kompetanser og fem nivåer på hver kompetanse
• det er vanskelig å lage oppgaver som måler bare en av kompetansene
• det er problematisk at skåren på de ulike kompetansene er relativt lik
• det er ikke heldig at både lette og vanskelige oppgaver kan gi høyeste skåre på kompetansene
• det er problematisk at vurderingen av besvarelsene er så tidkrevende for lærerne
• oppgavene må testes ut bedre for å sikre at de måler det vi ønsker å måle

Dette vil vi arbeide videre med for å gjøre prøvene bedre i 2005. Blant annet vil vi legge vekt på å videreutvikle rammeverket.

Vi er imidlertid ikke enig i at vi skal lag prøvene enklere. Det faglige nivået på oppgavene er bestemt ut fra målene i læreplanene. Matematikkgruppa mener det er riktig å synliggjøre eventuelle forskjeller mellom det faglige nivået som ligger i læreplanenes mål og det faglige nivået elevenes faktisk har oppnådd. Derfor vil prøvene ikke være normerte eller standardiserte.

Prosjektgruppa i matematikk