1.2 Gjennomføring av kartleggingsprøven

I utgangspunktet var det et ønske om å gjennomføre kartleggingen i halvparten av skolene i Norge. Størrelsen på dette utvalget overgår i høy grad det som vi hadde trengt av statistiske grunner. Det var imidlertid også et viktig formål at flest mulig skoler og flest mulig lærere skulle få nytte av prøven i planleggingen av en undervisning for stimulering/utvikling av leseferdigheten (for hele klassen og individuelt) og i planleggingen og organiseringen av spesialundervisningen. I tillegg var hensikten at flest mulig skoler skulle få en støtte i vurderingen av behov for viderehenvisning til PP-tjenesten. Av praktiske grunner (først og fremst økonomiske) ble utvalget redusert til maksimum to klasser pr skole i halvparten av landets skoler.

Senter for leseforsking (SLF) ved Høgskolen i Stavanger (HiS) har hatt det overordnede ansvaret for undersøkelsen. Gjennomføringen har skjedd sammen med flere samarbeidspartnere. Feedback Research, Oslo, har hatt ansvaret for den praktiske delen av arbeidet, inkludert innlesing av data. Nasjonalt læremiddelsenter har i samarbeid med Forlagssentralen hatt ansvaret for utsendelse av materiellet til de enkelte skolene. Senter for leseforsking har hatt ansvaret for tolking av data og skriving av undersøkelsesrapporten.

Trekkingen av utvalget ble foretatt av Statistisk Sentralbyrå (SSB). Det ble stratifisert etter fylker og trekkingen ble foretatt på klassenivå. I det opprinnelige utvalget var det 484 skoler og ca. 17000 elever. Elevtallet er et stipulert elevtall basert på skolestatistikken for foregående skoleår. 384 skoler, dvs ca. 80% svarte positivt på forespørselen om å delta i undersøkelsen. Av disse var det 269 skoler som sendte inn resultatene fra undersøkelsen, dvs. ca. 70% av det utvalget som hadde sagt ja til å delta. Fra disse skolene kom det inn data fra 9943 elever noe som tilsvarer en svarprosent på ca. 58,5. De fleste har gjennomført hele prøven, men enkelte elever har av ulike grunner ikke besvart alle oppgavene og spørsmålene.

For å få inn data fra skolene foretok Feedback Research to purrerunder. pr. telefon. Etter første runde kom det inn noen flere resultater, men stort sett virket det som om de skolene som hadde tatt prøven og bestemt seg for å sende inn resultatene, hadde holdt seg til innsendingsfristen. Skolenes reaksjoner ved andre gangs kontakt kan imidlertid være informative for å belyse frafallet. Vel 25% hadde ingen begrunnelse for ikke å delta i undersøkelsen og vel 25% skulle undersøke nærmere, men lot ikke høre fra seg igjen. Litt over 15% oppga kapasitetsproblemer og kommunikasjonsproblemer. Ved vel 15% av skolene var det ikke mulig å komme frem til noen som var ansvarlige. Resten av svarene gikk på at de ikke hadde mottatt det utsendte materiellet eller hadde andre grunner til at resultatene ikke ville bli sendt.

Reduksjonen av det opprinnelige utvalget er så vidt stor at det er grunn til å vurdere representativiteten i det foreliggende materialet. I den sammenheng har vi sett på både forhold som eventuelt kan forklare den relativt lave deltagelsen og på forhold som eventuelt skulle tilsi at frafallet er systematisk.

Generelle forhold som kan ha påvirket svarprosenten En svarprosent på 58,5 er lav spesielt sett i lys av at svarprosenten på en like omfattende undersøkelse av leseferdighet i 2. klasse i mai 1998 var på 80,5. (Tønnessen & Solheim, 1998). Et forhold som muligens kan forklare forskjellene mellom de to klassetrinnene er forskjellige holdning til bruk av kartleggingsprøver i lesing på barnetrinnet i forhold til ungdomstrinnet. På barnetrinnet hadde kartleggingsprøvene vært tilgjengelige i 3 år, og ca 40% av skolene oppga at de hadde brukt prøvene tidligere. Også mange som ikke selv hadde brukt prøvene må antas å ha hatt kjennskap til dem, og et flertall av lærerne på barnetrinnet har derfor trolig visst hvilket arbeid dette medførte og hvilken nytte de kunne ha av prøvene. På ungdomstrinnet derimot ble prøvene standardisert i 1996, og gjennomføringen av undersøkelsen høsten 1997 var første gang de var i omfattende bruk (med unntak av pilotundersøkelsene og standardiseringen). Det betyr at prøvene var ukjente for de fleste lærerne og at de derfor heller ikke visste hvilket arbeid deltagelse ville medføre. Fordi en visste at prøven var ny for de fleste ble det i det første brevet til skolene og lærerne opplyst at etterarbeidet omtrent ville tilsvare arbeidet med en skriftlig norskprøve. Denne opplysningen har muligens ikke gitt et godt nok bilde av etterarbeidets omfang.

Lærerne har muligens heller ikke sett hvilken nytte de selv kunne ha av elevenes resultater. Dette kan skyldes at prøven var ukjent, men kanskje også at en ikke har den samme tradisjonen på ungdomstrinnet for å arbeide med lesing og leseutvikling som den en finner (tidlig) på barnetrinnet. Midt i 9. klasse er det mer tradisjon for å konsentrere arbeid med videre leseundervisning til spesialundervisning for de svært svake leserne, og de mener en gjerne å ha identifisert på dette tidspunktet. IEA undersøkelsen viste at norske elever i sammenligning med elever fra andre land kom dårligere ut i 8. klasse (nå 9. klasse) enn i 3. klasse (Tønnessen, 1996a), men dette er ikke kjent, eller glemt. Et av de områdene som er blitt diskutert i kjølvannet av IEA undersøkelsen har da også vært at leseundervisningen i norsk skole kanskje stanser for tidlig, og at arbeid med lesing burde være et tema gjennom hele skolegangen. I brevet som gikk til skolene og lærerne var det understreket at departementets beslutning om å gjennomføre undersøkelsen i en så stor gruppe for en stor del var begrunnet med ønsket om at flere elever skulle kunne få fordelen av å ha gjennomført en systematisk kartlegging av sine leseferdigheter. For å sikre den pedagogiske bruken av kartleggingsprøven fikk også alle lærere det idéheftet som er skrevet som hjelp for utarbeiding og tilrettelegging av tiltak for lesesvake elever. Det kan virke som om informasjonen om den pedagogiske nytteverdien ikke har nådd frem til alle. Uten at en har sett at det også ligger en betydelig egengevinst for lærer og elever i å ha gjennomgått denne undersøkelsen, kan kartleggingsprøven i lesing har blitt betraktet som et arbeidskrevende ekstraarbeid for å skaffe departementet noen informasjoner. En slik forståelse av hva denne undersøkelsen har vært, vil selvfølgelig ha hatt en negativ innvirkning på motivasjonen for å gjennomføre prøven i en travel førjulstid.

At arbeidsmengden og nytteverdien eventuelt ble undervurdert kan forklare hvorfor ca. 30% av de skolene som opprinnelig hadde sagt ja til deltagelse likevel ikke sendte inn noen resultater.

Noe som kan ha forsterket problemet med arbeidsmengde og tid er at gjennomføringen delvis falt sammen med skolenes arbeid med den ordinære halvårsavslutningen. Opprinnelig var gjennomføringstidspunktet satt til siste halvdel av november med innsendelse av data til Feedback Research før jul, dvs. at det skulle være mulig å gjennomføre prøven alt midt i november. P.g.a. noen uheldige omstendigheter i forbindelse med utsending av deler av materiellet ble dette prøvetidspunktet muligens forskjøvet for enkelte skoler. Kort tid etter at materiellet var utsendt fra Forlagssentralen kom det inn noen telefoner fra skoler som etterlyste lærerveiledningen. Denne ble tilsendt umiddelbart samtidig som det ble sendt et brev til samtlige skoler om at lærerveiledningen kunne mangle, og at de skolene som ikke fant veiledningen skulle ringe Feedback Research. Selv om det viste seg at mangel på lærerveiledning bare var en feil ved deler av forsendelsene, og selv om dette ble rettet opp raskt, kan dette ha medført at gjennomføringen av kartleggingsprøvene har blitt forskjøvet på en uheldig måte. At tidspunkt og arbeidsmengde har vært et problem vet en også gjennom henvendelser som kom fra skolene til Feedback Research og Senter for leseforsking. Til sammen kom det inn et 10-talls telefoner hvor innringeren beklaget seg over arbeidsmengden. En del av disse mente også at arbeid med kartleggingsprøvene burde ha blitt honorert. Et lignende antall telefoner gjaldt problemer med fristen for innsendelse av data. I disse tilfellene ble fristen forlenget til ut i januar, uten at dette alltid førte til at data ble innsendt.

Forhold som eventuelt skulle tilsi at frafallet er systematisk

En svarprosent på litt under 60 behøver ikke nødvendigvis å bety at resultatene ikke er representative. Dersom det derimot er tegn til at frafallet følger et spesielt mønster, kan dette ha innvirkning på resultatenes representativitet. For å kontrollere representativiteten har en i hvert fylke sett på antall kommuner, skoler og elever. Videre har en sett på antall skoler i hver kommune og antall elever i skolene og kommunene. Disse oversiktene er så sammenholdt med utvalget fra SSB og listen over skoler som hadde sagt ja til å delta. Med to unntak finner en representative resultater i fylkene. Tallene fra Oslo og Finnmark må imidlertid vurderes separat.

I Oslo var det i utgangspunktet 13 skoler med 26 klasser og 765 elever som hadde sagt ja til å delta. Det kom inn resultater fra 5 skoler, 7 klasser og 172 elever. Resultatene for de 172 elevene (gjennomsnittlig sumscore) skiller seg ikke spesielt ut sammenlignet med resten av landet, men spredningen er den største blant fylkene. Deltagelsen er uansett så lav at en ikke har grunnlag for å trekke noen konklusjoner om leseferdigheten i Oslo. Noen forklaring på hva som har skjedd i Oslo er det vanskelig å gi, ut over å fastslå at det må dreie seg om ganske lokale forhold. Til sammenligning kan nevnes at Akershus (som omkranser Oslo og består at svært forskjellige kommuner) er representert med 13 kommuner, 22 skoler, 36 klasser og 875 elever. Det er også blitt undersøkt om den lave svarprosenten i Oslo kan være et "storbyfenomen", uten at det er noe som tyder på at det foreligger en slik sammenheng. I vår nest største by, Bergen, foreligger det for eksempel svar fra 9 skoler 15 klasser og 365 elever. I denne sammenligningen må en også ta i betraktning at Bergen har godt under halvparten så mange innbyggere som Oslo. Heller ikke i noen av de andre større byene er det grunn til å trekke representativiteten i tvil, selv om svarprosenten varierer noe.

Resultatene fra Finnmark må også behandles med forsiktighet. Her har en resultatene fra 5 kommuner, 6 skoler og 76 elever. Spesielt elevtallet er lavt, noe som ikke behøvde være utslagsgivende fordi det også var flere meget små skoler med i utvalget (relativt lavt elevtall var derfor forventet). Resultatet målt med gjennomsnittscore skiller seg heller ikke spesielt ut blant fylkene, og spredningen er ikke påfallende. Det avgjørende er likevel at den største skolen i utvalget i Finnmark med innpå 60 elever mangler. Selv om utvalget fortsatt inneholder data også fra store skoler i Finnmark bør en derfor ikke trekke noen bastante konklusjoner om leseferdigheten i Finnmark.

I fylkene utenom Oslo og Finnmark vil en også finne noen variasjoner, men som nevnt innledningsvis i dette punktet er disse ikke av en slik art at det får konsekvenser for representativiteten. De variasjonene en finner er knyttet til kommunenivået, men utvalget er da heller ikke satt sammen for å være representativt på dette nivået.

Konklusjonen blir at med unntak av Oslo og Finnmark er frafallene og manglene å anse som tilfeldige og at utvalget av klasser og elever må betraktes som representativt både på nasjonalt nivå og på fylkesnivå. På kommunenivå kan imidlertid utvalget av klasser og elever ikke betraktes som representativt i utvalget som helhet.

Gjennomføring

Kartleggingen ble gjennomført i november-desember 1997 - ett år etter standardiseringen. Elevenes gjennomsnittsalder var tilnærmet lik i de to testomgangene. For å få like prøvebetingelser, er det utarbeidet veiledning for lærerne (jf. Vedlegg). Lærerne rettet også prøvene i henhold til veiledingen. Skjemaene ble utformet slik at resultatene kunne scannes inn (optisk lesing). (jf. vedlagte skjema). Alt materiale ble returnert i anonymisert form i henhold til Datatilsynets bestemmelser. Vi har opplysninger om kommuner og skoler og hvilke klasser elevene tilhører.

Kartleggingsprøven i lesing omfattet 6 oppgaver og 23 spørsmål til elevene om hvordan de liker forskjellige leseaktiviteter og deres vurdering egen arbeidsinnsats. I denne undersøkelsen er det stilt 31 spørsmål til elevene, 20 spørsmål til lærerne og 16 spørsmål til rektorene. De 31 spørsmålene til elevene omfatter de 23 spørsmålene som inngår i kartleggingsprøven. Alle spørsmålene ble samlet i et spørreskjema. Dette ble gjort for å lette lærernes rettearbeid. Skjemaene var nemlig ferdig kodet og klar for direkte optisk lesing når de var fylt ut av elevene. Når det gjelder leseprøvene og de 23 spørsmålene til elevene, vil vi trekke sammenlikninger med standardiseringsprøvene. Når det gjelder de øvrige spørsmålene kan vi ikke trekke noen sammenlikning med standardiseringsresultatene, men ettersom en del av disse spørsmålene ble brukt i de 8. klassene som deltok i IEA undersøkelsen i 1991, vil vi trekke noen sammenlikninger med denne.