Forordning om kunstig intelligens (KI-forordningen)

Status

Utkastet til forordning ble sendt fra Europakommisjonen til EU-parlamentet og -Rådet den 21. april 2021. I perioden fra dette til 6. august 2021 var forslaget lagt ut på offentlig høring (public consultation).

Norge har sendt en nasjonal posisjon til EU-kommisjonen i forbindelse med høringen.  

Endelig forordning ble vedtatt den 13. juni 2024, publisert i EUs lovbok (Official journal) den 12. juli 2024, med anvendelsdato i EU 1. august 2024. 

Beskrivelse

Forordningen krever art. 103-forbehold, da den både fordrer nasjonale lovendringer og vil få budsjettmessige og organisatoriske konsekvenser. Det vil derfor tas forbehold om Stortingets godkjenning i EØS-komitévedtak om innlemmelse. 

Forordningen bygger på EUs KI-strategi fra 2018 (som nå er revidert) og hvitboken om KI fra 2020. 

Forordningen er hjemlet i art. 16 og 114 i TEUV, som hhv. gjelder rett til vern om personopplysninger og harmonisering av medlemsstatenes lovgivning vedrørende det indre markeds funksjon.

Sammendrag av innhold
KI-forordningen består av flere kapitler som regulerer ulike aspekter ved bruk og utvikling av kunstig intelligens.

Formålet med forordningen finnes i art. 1, jf. fortalepunkt 1: Forordningen skal forbedre funksjonen av det indre marked ved å lage et harmonisert rammeverk for innførsel og bruk av kunstig intelligens-systemer. Rammeverket skal støtte innovasjon i utvikling av KI-systemer.

Forordningen skal legge til rette for menneskeorientert og etisk forsvarlig kunstig intelligens, som skal hensynta grunnleggende menneskerettigheter.  I denne sammenheng vises det til EUs charter om grunnleggende rettigheter (Charter of Fundamental Rights of the European Union). Charteret er ikke en del av EØS-avtalen, men stemmer langt på vei overens med EMK.

Kravene til utvikling og bruk etter reguleringen er lagt opp som en pyramide: Først er det angitt visse typer KI-systemer som er forbudt. Videre, så knytter de strengeste kravene seg til høyrisiko KI-systemer, og systemer med systemisk risiko (grunnleggende modeller). Deretter følger noe lempeligere krav til KI-systemer med begrenset risiko (transparensforpliktelser). Til KI-systemer med minimal risiko er det ikke angitt særskilte krav.

Forordningen innfører slikt sett en helhetlig tilnærming til risikohåndtering av KI-systemer, med fokus på sikkerhet, transparens og grunnleggende menneskerettigheter.

Nedenfor følger en kort oppsummering av det viktigste innholdet i de enkelte kapitlene.

Kapittel 1: Generelle bestemmelser (General Provisions)
Kapittelet angir forordningens virkeområde, og lister opp en rekke definisjoner brukt i regelverket, herunder hva som anses som KI-systemer, hvem som er pliktsubjekter, og de forskjellige organene som opprettes  i EU med hjemmel i forordningen.

Det angis at KI-systemer som utelukkende er utviklet for eller brukt i militære formål, formål knyttet til nasjonal sikkerhet eller forsvar er unntatt fra forordningens anvendelsesområde, jf. art. 2 (3) og fortalepunkt 24.

Kunstig intelligens er I art. 3 (1) definert som: "et maskinbasert system som er konstruert for å operere med varierende grad av autonomi, og som kan vise tilpasningsdyktighet etter utplassering og som, for eksplisitte eller implisitte mål, ut fra inndataene det mottar, utleder hvordan man genererer utdata som prediksjoner, innhold og anbefalinger, eller beslutninger som kan påvirke fysiske eller virtuelle miljøer." 

Art. 4 angir et særlig krav til ‘AI literacy’, som kan forstås som kunnskap om KI-systemer. Dette vil gjelde for alle typer KI-systemer som er omfattet av forordningen, uavhengig av risiko.

Kapittel 2: Forbudt bruk av KI-systemer (Prohibited AI practices)

Dette kapitlet angir spesifikke KI-praksiser som anses som skadelige og derfor er forbudte, både med hensyn til innførsel og bruk. Dette inkluderer KI-systemer som anvender metoder som kan påvirke underbevisstheten eller utnytte sårbarheter hos bestemte grupper mennesker for å manipulere oppførselen deres, samt å bruke KI-systemer for såkalt sosial ‘scoring’.

Visse "sanntids"-biometriske identifikasjonssystemer, for eksempel de som brukes til ansiktsgjenkjenning på offentlige steder for rettshåndhevelse, er også forbudt, unntatt under spesifikke, strengt definerte omstendigheter, bl.a. bekjempelse av terror.

Kapittel 3: Høyrisiko KI-systemer (High-risk AI systems)

Kapittel III i KI-forordningen omhandler «Høyrisiko KI-systemer». Disse systemene er definert i art. 6 (1). I tillegg til disse, skal alle KI-systemer som er listet opp i bilag III anses som høyrisiko, jf. art. 6 (2). Dette er systemer som kan utgjøre en betydelig risiko for helse, sikkerhet eller grunnleggende rettigheter. Dette inkluderer blant annet KI-systemer som brukes til biometrisk identifikasjon (med visse unntak), i kritisk infrastruktur, i utdanning, og til rekruttering.

Systemer i Bilag III regnes ikke som høyrisiko dersom de ikke utgjør slike risikoer eller ikke påvirker beslutningstaking i vesentlig grad, jf. art. 3. Vesentlighetsaspektet baseres på en rettslig standard som er nærmere omtalt i fortalepunkt 46 flg.

All profilering (dvs. automatisk vurdering av personlige egenskaper) gjør et KI-system nevnt i Bilag III til høyrisiko, jf. art. 6 (3) siste ledd. Kommisjonen kan endre listen over høyrisiko KI-systemer i Bilag III basert på kriterier som f.eks. tiltenkte formål og risiko for mulig skade, jf. art. 6 (6).

Høyrisiko KI-systemer må overholde en rekke krav, omtalt i art. 8 flg. Ansvaret ligger i hovedsak på leverandøren av KI-systemet, se art. 16. Kravene omfatter blant annet at det må etableres et risikostyringssystem som adresserer forutsigbare risikoer for helse, sikkerhet og grunnleggende rettigheter. Det må også brukes data av høy kvalitet for trening av KI-systemer og sikre transparens gjennom tydelig dokumentering.

Menneskelig tilsyn er avgjørende, jf. art. 14. Leverandører må designe systemer som tillater menneskelig forståelse, overvåking, fortolkning av resultater og ekstern intervensjon.

Andre aktører har også ansvar. Distributører, importører, idriftssetter eller andre tredjepersoner må verifisere at leverandøren har sikret at systemet oppfyller kravene. Distributører, importør, utplasseringsansvarlig eller andre tredjepersoner som setter eget navn på systemet, som vesentlig endrer et system, eller som endrer den planlagte bruken av systemet får samme forpliktelser som leverandører, jf. art. 25. Art. 25 oppstiller altså kravene til de ulike aktørene i verdikjeden for KI-systemet.

Til slutt krever høyrisiko KI-systemer samsvarsvurderinger, CE-merking og tilsyn etter at systemet er lansert i markedet.

Kapittel 4: Transparensforpliktelser (Transparency Obligations for Providers and Deployers of Certain AI Systems)

Det er lagt opp til en rekke transparensforpliktelser i KI-forordningen.

Fysiske personer som bruker et KI-system skal gjøres kjent med at de interagerer med et KI-system, med mindre dette er åpenbart eller om systemet brukes til kriminalitetsbekjempende formål.

Output fra et KI-system skal merkes i et maskinlesbart format med at innholdet er KI-generert. De som blir utsatt for et KI-system som bruker biometrisk kategorisering eller følelsesgjenkjenning, skal gjøres kjent med at det er et slikt type system.

De som tar i bruk KI-systemer som genererer innhold som kan defineres som en såkalt dyp forfalskning (deepfakes), jf. art 3 (60), skal opplyse om at innholdet har blitt kunstig laget eller manipulert (krav til merking).

Kapittel 5: Grunnleggende modeller (General-purpose AI models)

KI-modeller med generelle formål (General Purpose AI) er i art. 3 (63) definert som:

"en KI-modell, herunder når den er trent med en stor mengde data ved hjelp av maskinlæring i stor skala, som viser betydelig allmenngyldighet, og er i stand til på en kompetent måte å utføre et bredt spekter av særskilte oppgaver uansett hvordan modellen bringes i omsetning, og som kan integreres i en rekke nedstrøms systemer eller applikasjoner, med unntak av KI-modeller som brukes til forsknings-, utviklings- eller prototypingsaktiviteter før de bringes i omsetning"

På norsk omtales disse som grunnleggende modeller. Dette er en type avansert KI-modell som er designet for å utføre en rekke forskjellige oppgaver: Denne typen KI har evnen til å forstå, lære og anvende kunnskap på tvers av ulike domener, noe som gjør den i stand til å løse problemer på en måte som kan ligne på menneskelig intelligens. Den kan tilpasse seg nye situasjoner og utfordringer uten å være forhåndsprogrammert for dem, og den har potensialet til å forbedre seg selv over tid gjennom erfaring og læring.

Slike KI-modeller som i tillegg har en såkalt systemisk risiko, jf. art. 3 (65), er særlig regulert i art. 51 flg. Oppsummert har modellene en slik systemisk risiko dersom de har «høy påvirkningsevne», vurdert basert på relevante tekniske verktøy og metoder. Videre skal modellen anses for å ha systemisk risiko dersom EU-Kommisjonen har besluttet det, basert på kriteriene i bilag XIII.

Leverandører av grunnleggende modeller er blant annet pliktige å utarbeide og kontinuerlig oppdatere den tekniske dokumentasjonen for modellen, inkludert trenings- og testprosesser samt evalueringsresultater.

Videre må det utarbeides, oppdateres og tilgjengeliggjøres informasjon og dokumentasjon for andre leverandører som ønsker å innlemme den grunnleggende modellen i sitt eget system. Denne dokumentasjonen skal muliggjøre at andre leverandører også oppfyller forordningens krav.

Kapittel 6: Bestemmelser til støtte for innovasjon (Measures in support of innovation)

Kapittelet regulerer regulatoriske sandkasser for kunstig intelligens.

Det skal opprettes minst én slik sandkasse på nasjonalt nivå innen 24 måneder etter forordningens ikrafttredelse, dvs. innen 2. august 2026 i EU. Disse sandkassene kan også opprettes i samarbeid med andre medlemsstater. Sandkassene skal tilby et kontrollert miljø for å fremme innovasjon, fasilitere utvikling, testing og validering av innovative KI-systemer før de plasseres på markedet.

Det er et krav at medlemsstatene allokerer tilstrekkelige ressurser til markedsovervåkningsmyndighetene for å kunne etterleve kravene i art. 57.

Markedsovervåkningsmyndighetene skal gjennom sandkassene gi veiledning, tilsyn og støtte for å identifisere risikoer, med særlig fokus på grunnleggende rettigheter, helse og sikkerhet. Formålet med sandkassene er blant annet å bidra til juridisk klarhet for å kunne etterleve kravene i regelverket, støtte delingen av beste praksis, fremme innovasjon og konkurranseevne og oppnå raskere markedsadgang, spesielt for små og mellomstore bedrifter og oppstartsbedrifter.

Deltakere i sandkassen forblir ansvarlige for brudd på forordningen, men her skal markedsovervåkningsmyndigheten utvise et visst skjønn, hvor fokuset skal være på å fremme KI-innovasjon i EU. Deltakere kan også bli erstatningsansvarlige for skade på tredjeparter, men gitt at de følger planen og vilkårene for deres deltakelse og følger veiledningen gitt av markedsovervåkningsmyndigheten i god tro, skal de ikke bøtelegges.

Kapittel 7: Styring og forvaltning (Governance)

I kraft av forordningen opprettes det to myndigheter på EU-nivå. Disse er hhv. kontoret for kunstig intelligens (AI Office) og styret for kunstig intelligens (AI Board), jf. art. 64-65. Det skal også opprettes et ekspertpanel, jf. art. 68.

På nasjonalt nivå skal hver medlemsstat opprette eller utpeke nasjonale kompetente myndigheter, som minst skal bestå av én meldermyndighet (akkrediteringsorgan) og én tilsynsmyndighet, jf. art. 70. Det er nedfelt et krav om at myndighetene skal være uavhengige, jf. art. 70 (1), kf. fortalepunktene 154-156.

DFØ har på oppdrag fra DFD utredet forvaltningsstrukturen som skal følge av forordningen og hva som kan være en hensiktsmessig struktur i Norge. Departementet vil komme tilbake til dette og vil, i valg av tilsynsstrukturen, legge vekt på forordningens krav til uavhengighet.   

Kapittel 8: EU-database over høyrisikosystemer (EU Database for high-risk AI systems)

EU-Kommisjonen skal i samarbeid med medlemsstatene opprette en database over høyrisiko KI-systemer.

Kapittel 9: Markedsovervåkning (Post-market monitoring, information sharing and market surveillance)

Iht. art. 72 skal leverandører av KI-systemer etablere et overvåkningssystem for høyrisiko KI-systemer. Systemet skal kunne samle inn og evaluere data om bruk av høyrisiko KI-systemer i systemets livsløp.

Leverandører skal rapportere om alvorlige hendelser til de nasjonale tilsynene, jf. art. 73, og følge opp med nærmere undersøkelser av systemet der hvor den alvorlige hendelsen inntraff. Nasjonale myndigheter skal rapportere videre til EU-Kommisjonen.

Markedstilsyn etter KI-forordningen henger tett sammen med Forordningen om markedstilsyn og produktsamsvar (EU 2019/1020), jf. art. 74 (1).

Art. 74 (2) flg. inneholder nærmere bestemmelser om hvordan markedstilsynet skal innrettes. Det følger av art. 74 (8) at der hvor høyrisiko KI-systemer som brukes i rettshåndhevelse/straffeforfølgning, grenseovervåkning og justis, skal tilsynet etter (EU) 2016/679 (GDPR) være tilsynsmyndighet. Som omtalt nedenfor, faller justisområdet utenfor EØS-avtalen, og det vil her bli behov for tilpasningstekst.

Mht. KI-systemer som er basert på grunnmodeller, når modellen og systemet er utviklet av samme leverandør, skal AI Board ha tilsvarende myndighet som tilsynsmyndigheten, jf. art. 75 (1); dette innebærer etter departementets syn en myndighetsoverføring som krever tilpasningstekst i EØS-komitevedtaket.

Art. 77 omtaler nasjonale myndigheter som fører tilsyn med eller håndhever grunnleggende rettigheter (fundamental rights).

Seksjon 5 under kapittel IX omhandler tilsyn med grunnmodeller. Art. 88-93 angir at Kommisjonen, gjennom AI Office, skal ha eksklusiv myndighet til å føre tilsyn med og håndheve reglene i kap. 5 om grunnmodeller. Tilsvarende som ovenfor, vil dette medføre behov for tilpasningstekst i EØS-komitevedtaket. 

Kapittel 10: Retningslinjer (Codes of conduct and guidelines)

AI Office skal, i samråd med medlemsstatene, utarbeide retningslinjer for forvaltning av KI-området. Det skal blant annet utvikles retningslinjer som inneholder:

• Spesifikke krav for frivillig bruk på KI-systemer som ikke er høyrisiko: Disse retningslinjene bør ta hensyn til eksisterende tekniske løsninger og beste praksis i bransjen.
• Ytterligere krav til alle KI-systemer: Disse kan omfatte elementer fra EUs etiske retningslinjer for pålitelig KI, miljømessig bærekraft, KI-kompetanse, inkludering og mangfold i KI-utvikling, interessentdeltakelse og teamdiversitet.

Retningslinjene skal involvere interessenter som virksomheter, sivilsamfunnsorganisasjoner, akademikere, forskningsorganisasjoner, fagforeninger og forbrukervernorganisasjoner.

EU-kommisjonen skal også utvikle veiledninger for den mer praktiske implementeringen av forordningen. Disse veiledningene vil blant annet dekke:

• Anvendelse av krav og forpliktelser for høyrisiko KI-systemer
• Forbudt KI-bruk
• Praktisk implementering av bestemmelser knyttet til vesentlig endring av KI-systemer med høy risiko
• Gjennomsiktighetsforpliktelser
• Avklaring av forholdet mellom denne forordningen, sektoriell harmoniseringslovgivning i EU og annen relevant EU-lovgivning
• Anvendelsen av definisjonen av et KI-system

Kommisjonen vil ta hensyn til behovene til små og mellomstore bedrifter (SMB’er), oppstartsbedrifter, lokale myndigheter og sektorer som mest sannsynlig vil bli påvirket av forordningen.

Veiledningene vil også ta hensyn til den nyeste teknologien innen KI, relevante harmoniserte standarder og felles spesifikasjoner, samt harmoniserte standarder eller tekniske spesifikasjoner.

Kapittel 11: Delegering og komiteprosedyrer (Delegation of power and comittee procedure)

 Kapittelet hjemler Kommisjonens fullmakt til å vedta delegerte rettsakter til KI-forordningen.

Kapittel 12: Sanksjoner (Penalties)

Medlemsstatene skal kunne ilegge gebyrer ved brudd på regelverket. Gebyrenes størrelse avhenger av hvilke artikler det foreligger brudd på. De mest alvorlige overtredelsene er der hvor det er brudd med reglene om forbudte KI-systemer, jf. art. 99 (3). Sanksjoner for andre brudd er listet opp i art. 99 (4) bokstav a-j. Det er egne regler for brudd på reglene som gjelder for grunnleggende modeller, og for de tilfeller hvor et EU-organ eller et nasjonalt offentlig organ bryter reglene.

De mest alvorlige bruddene kan gi gebyrer på inntil € 35 000 000 eller inntil 7 prosent av en virksomhets årlige globale omsetning, avhengig av hva som gir høyeste sanksjonsbeløp.

Kapittel 13: Avsluttende bestemmelser og ikrafttredelse (Final provisions)

Forordningen som sådan trer i kraft i EU 1. august 2026.

Kap. I og II trer i kraft i EU fra 2. februar 2025

Kap. III del 4, kap. V, kap. VII og kap. XII og art. 78 trer i kraft i EU fra 2. august 2025, med unntak av art. 101

Art. 6(1) og korresponderende krav i forordningen trer i kraft i EU fra 2. august 2027.

Rettslige konsekvenser
Lovverket må tilpasses for å dekke kravene til risikohåndtering, tilsyn og ansvar, noe som kan innebære endringer i regler for datasikkerhet, personvern og forbrukerbeskyttelse.

I gjennomføringsprosessen vil det måtte utredes i hvilken grad forordningen vil påvirke annet regelverk. Departementet vil komme tilbake til dette i høringen og lovforslag.

Økonomiske og administrative konsekvenser for Norge
Innføringen av KI-forordningen vil innebære kostnader knyttet til tilsyns funksjoner, samt investeringer i næringslivet for å oppfylle kravene. Offentlige myndigheter vil måtte allokere ressurser til tilsyn og markedsovervåking. Samtidig skal forordningen stimulere til innovasjon og utvikling av KI-teknologi, noe som kan styrke Norges konkurranseevne på lang sikt.

Styringsfunksjoner

Det skal opprettes et European Artificial Intelligence Board (AI Board), ledet av EU-kommisjonen. Styret skal gi råd og støtte til kommisjonen.

Det skal utnevnes en nasjonal tilsynsmyndighet for kunstig intelligens. Ansvaret kan tillegges en eksisterende myndighet, men vil, uansett valg av forvaltningsstruktur, kreve tilførsel av ressurser

EØS-relevans

Forordningent ble opprinnelig ikke merket EØS-relevant av EU-Kommisjonen. Rådets «General approach» av 6. desember 2022 merker imidlertid forordningen som EØS-relevant. Regjeringen har høsten 2023 hatt en arbeidsgruppe som har vurdert EØS-relevans, og denne gruppen har konkludert med at rettsakten er EØS-relevant. 

KI-forordningen anses derfor som EØS-relevant. Unntaket gjelder for de alminnelige områdene som ikke er omfattet av EØS-avtalen, slik som justis- og politisamarbeid, grense- og passkontroll, samt utenriks- og sikkerhetspolitikk. Bestemmelser i KI-forordningen om bl.a. straffeprosessuelle regler og rettshåndhevelse anses derfor i utgangspunktet å falle utenfor EØS-avtalen. Departementet vil i det videre løpet vurdere om bestemmelsene kan være Schengen-relevante i samråd med Justis- og beredskapsdepartementet. Militære formål er ikke omfattet av EØS-avtalen, og KI-forordningen ekskluderer uansett slike formål i art. 2 (3), jf. fortalepunkt 24.

Forordningen skal inkorporeres som sådan, jf. EØS-avtalen art. 7 bokstav b. Det vil si at det ikke er rom for endringer i forordningsteksten utover de tilpasningstekster som vil følge av EØS-komitevedtaket.

Norge vil prioritere en rask gjennomføring for å unngå regulatorisk disharmoni med EU-landene. Dette er viktig for å sikre Norges deltagelse i det europeiske digitale markedet og for å opprettholde konkurransekraft innen KI-utvikling.

Sakkyndige instansers merknader

Forordningen har vært til behandling i spesialutvalget for Kommunikasjoner. Det ble inngitt følgende merknader...

Vurdering

Forordningen vurderes som EØS-relevant og akseptabelt. 

Innholder informasjon unntatt offentlighet, jf. offl. § 13

Andre opplysninger

Nøkkelinformasjon

Institusjon:	Parlament og Råd
Type rettsakt:	Forordning
KOM-nr.:	KOM(2021)206
Rettsaktnr.:	2024/1689
Basis rettsaktnr.:
Celexnr.:	32024R1689

EFTA-prosessen

Dato mottatt standardskjema:	04.04.2024
Frist returnering standardskjema:	30.05.2024
Dato returnert standardskjema:
EØS-relevant:	Ja
Akseptabelt:	Ja
Tekniske tilpasningstekster:	Nei
Materielle tilpasningstekster:	Nei
Art. 103-forbehold:	Ja

Norsk regelverk

Endring av norsk regelverk:	Ja
Høringsstart:
Høringsfrist:
Frist for gjennomføring:

Fylker og kommuner

Berører fylker og kommuner i vesentlig grad.

Lenker

• Kommisjonens forslag
• OEIL
• EU-tidende