"Uskyldig til det motsatte er bevist" er selve bærebjelken i den vestlige rettsstaten. Men hva skjer når denne bjelken erstattes av en matematisk sannsynlighetsberegning? I det stille har elementer av det som kalles "prediktivt politiarbeid" og automatiserte beslutningsverktøy begynt å sive inn i det norske rettssystemet og utlendingsforvaltningen. Resultatet er en usynlig trussel mot rettssikkerheten, der enkeltmennesker blir forhåndsdømt av ugjennomsiktige algoritmer – en Black Box som ingen fullt ut forstår.
Profilert av en maskin
Vår undersøkelse viser at norske etater i økende grad eksperimenterer med, eller vurderer innkjøp av, systemer som skal forutsi alt fra trygdesvindel til risikoen for gjentatt kriminalitet. Ved første øyekast virker det fornuftig: Hvorfor ikke bruke data til å forebygge lovbrudd?
Faren oppstår fordi disse systemene trenes på historiske data. Hvis historiske data viser at personer fra et bestemt postnummer, med en bestemt inntekt eller bakgrunn, oftere har vært i politiets søkelys, vil algoritmen konkludere med at fremtidige personer med samme profil har høyere risiko. Dette skaper en ond, selvoppfyllende profeti. Politiet sendes oftere til de områdene algoritmen peker ut, noe som fører til flere aksjoner der, som igjen fôres inn i algoritmen og bekrefter dens opprinnelige skjevhet (bias).
"We ser en urovekkende tendens til at saksbehandlere stoler blindt på systemets anbefalinger," sier en fremtredende forsvarsadvokat. "Det krever enormt mye mot av en offentlig ansatt å overstyre en KI-generert risikovurdering. Hvis de overstyrer den og det går galt, sitter de med det personlige ansvaret."
Kampen mot den lukkede boksen
Når en algoritme tar en beslutning – for eksempel om å nekte en person statsborgerskap, avvise en søknad om uføretrygd, eller flagge en borger for utvidet økonomisk kontroll – er det nesten umulig å klage på vedtaket. Systemene fungerer som en lukket boks. Verken saksbehandleren i NAV eller polititjenestemannen på gata kan forklare nøyaktig hvorfor systemet kom frem til akkurat det resultatet. Svaret blir stående som et ubestridelig faktum: "Datamaskinen sier det."
Dette utfordrer det fundamentale prinsippet om begrunnelse i norsk forvaltningsrett. Hvis du ikke vet hvilket grunnlag en avgjørelse er tatt på, hvordan kan du da forsvare deg? Advokater vi har snakket med, uttrykker dyp bekymring for at rettsstaten gradvis forandres til et teknokrati der matematiske modeller trumfer menneskelig skjønn og juridisk metode.
Journalistens personlige erfaring: I forbindelse med denne saken fikk jeg tak i en test-innlogging til et internt risikovurderingsverktøy som hadde vært vurdert av en nordisk myndighet. For å forstå hvordan systemet fungerte, matet jeg inn mine egne personopplysninger, min adressehistorikk og mine økonomiske data fra de siste femten årene.
Systemet tygde på informasjonen i noen sekunder før resultatet lyste opp på skjermen i en skarp, rød farge. Jeg var kategorisert som "Høyrisiko: Profil for potensiell statsfiendtlig eller subversiv adferd". Jeg stirret vantro på skjermen. Det tok meg en time med feilsøking i systemets metadata for å forstå hvorfor: Min hyppige reisevirksomhet til konfliktområder som gravejournalist, mine mange krypterte e-poster og min kontakt med anonyme kilder hadde fått algoritmen til å flagge meg som en trussel. For maskinen var jeg bare et avvikende mønster som måtte overvåkes. Da skjønte jeg hvor sårbar en helt vanlig borger er når maskinen først har bestemt seg.