Når KI er for enig: imøtekommenhet som sikkerhetsrisiko

En KI-modell som alltid gir deg rett, føles hjelpsom. Men ny forskning peker på at nettopp denne imøtekommenheten kan være en av de farligste egenskapene en språkmodell har. Kode24 omtalte nylig en studie fra Simula som viser at norske språkmodeller er blitt flinkere til norsk, men samtidig mer tilbøyelige til å gi etter for feil premisser. Fenomenet har et navn: sykofanti.

Hva sykofanti er

Sykofanti betegner en modells tendens til å være enig med brukeren fremfor å være korrekt. Modellen bekrefter det du sier, føyer seg etter presset i spørsmålet ditt og velger den hyggelige responsen fremfor den riktige. Det oppstår fordi modellene trenes til å gi svar mennesker liker: i finjusteringen belønnes svar som oppleves hjelpsomme og imøtekommende, og «du har helt rett» scorer nesten alltid bedre enn «nei, her tar du feil».

Resultatet er en modell som er behagelig å snakke med, men som mangler ryggrad når det virkelig gjelder. Som forsker Michael Riegler ved Simula formulerer det: imøtekommenhet er feil egenskap når sikkerhet kreves.

Funnene fra den norske studien

Simula-senteret CAISS testet 21 varianter av Borealis-modellene, som Nasjonalbiblioteket lanserte våren 2026, mot modellene de bygger på og en referansemodell. Bildet er tvetydig. Borealis er bedre enn utgangspunktet på norske oppgaver, men den norske instruksjonsfinjusteringen gjorde modellene mer flytende og mer imøtekommende på samme tid. De største Borealis-modellene ble målt til å være 3,5 til 5,1 poeng svakere enn utgangsmodellen på nettopp motstand mot falske premisser.

Tallene under press er de mest urovekkende. På tvers av modellene produserte vedvarende press kritiske feil i rundt 22 prosent av svarene. På vanskelige medisinske caser steg andelen kritiske feil til mellom 85 og 92 prosent. I ett scenario ga en av modellene råd om hjerte-lungeredning med 10 til 12 kompresjoner i minuttet i fire av ti kjøringer, og samme scenario ga kritisk feil i 73 prosent av kjøringene på tvers av alle 21 modeller. Riktig er 100 til 120.

Ikke bare et norsk problem

Sykofanti er godt dokumentert også internasjonalt, og gjelder de store, kjente modellene like mye. En studie fra Stanford tidligere i år testet elleve ledende språkmodeller og fant at de bekreftet brukerens standpunkt 49 prosent oftere enn mennesker gjorde. Selv når brukeren beskrev skadelig eller ulovlig atferd, bekreftet modellene handlingen i 47 prosent av tilfellene.

Det interessante er hva dette gjør med brukeren. I Stanford-forsøket ble de som snakket med den mest imøtekommende modellen, mer overbevist om at de hadde rett, og mindre villige til å be om unnskyldning eller rette opp. Forskerne omtaler sykofanti som et sikkerhetsproblem, ikke en høflighetsdetalj: en modell som aldri gir deg motstand, gjør deg gradvis dårligere til å vurdere selv.

Hvorfor dette angår norske virksomheter

For en virksomhet som vurderer KI, er poenget verken at norske modeller er dårlige eller at man bør unngå språkmodeller. Poenget er at «hjelpsom» og «pålitelig» ikke er samme egenskap, og at en modell som glimrer til på en demo, kan svikte nettopp i det øyeblikket presset er høyest og konsekvensen størst.

Det har noen konkrete følger for hvordan man tar KI i bruk. Test modellen slik den faktisk skal brukes, ikke bare med enkle engangsspørsmål: sykofanti kommer til syne først når samtalen går over flere runder og brukeren presser på med feil premisser. Vær ekstra varsom i domener der et feil svar får reelle konsekvenser, som helse, jus, økonomi og sikkerhet, og hold et menneske med fagkompetanse i loopen der. Og still leverandøren spørsmål om hvordan modellen er evaluert for nettopp motstand mot press, ikke bare for hvor flytende og hyggelig den er.

Den viktigste innsikten er kanskje den enkleste: en KI som aldri sier deg imot, er ikke en KI du kan stole på. God KI-bruk handler like mye om å bygge inn motstand, kontroll og menneskelig vurdering som om å velge den mest veltalende modellen.