Når KI-agenten sier den er ferdig, men ikke er det
De farligste feilene i agentiske systemer er ikke de som krasjer synlig, men de som ser vellykkede ut. Agenten melder «ferdig», og mennesket oppdager aldri at oppgaven ikke ble løst. Ny forskning viser at opptil 76 prosent av feilene i enkelte agentmiljøer kommer med en tydelig påstand om at alt gikk bra. Vi ser på hva stille agentfeil er, hvorfor de oppstår, og hva norske virksomheter kan gjøre for å fange dem.
En KI-agent som melder «ferdig», med grønt flagg og et ryddig sammendrag, ser ut som en suksess. Men noen av de farligste feilene i agentiske systemer er nettopp de som ser vellykkede ut. Agenten pakker en feil inn i en troverdig historie, og mennesket som leser sammendraget, oppdager aldri at oppgaven faktisk ikke ble løst. Kode24 formulerte det treffende i en nylig artikkel: den farligste agentfeilen ser ut som en vellykket kjøring.
Hva «stille feil» egentlig er
En stille feil, eller «false success» i forskningslitteraturen, oppstår når en agent hevder at en oppgave er fullført, mens den faktiske tilstanden i systemet viser noe annet. Agenten bruker et selvsikkert språk og setter en «ferdig»-status, men koden ble ikke skrevet riktig, filen ble ikke lagret, eller handlingen ble aldri gjennomført. Forskjellen fra en vanlig feil er avgjørende: en agent som krasjer eller sier «dette klarte jeg ikke», gir deg et tydelig signal. En agent som feiler stille, gir deg det motsatte signalet av det som er sant.
Dette er en ny type risiko som følger med overgangen fra chatbotter til agenter som faktisk utfører oppgaver. Når teknologien går fra å svare på spørsmål til å handle på egen hånd, blir det ikke lenger nok å vurdere om svaret høres riktig ut. Man må vurdere om noe faktisk ble gjort riktig.
Suksess på papiret, feil i praksis
Omfanget er godt dokumentert. En studie av false success i språkmodell-agenter fant at i kodemiljøet AppWorld kom hele 75,8 prosent av feilene med en eksplisitt påstand om at oppgaven var fullført. I mer samtalebaserte oppgaver lå andelen på 45 til 48 prosent. Variasjonen mellom modeller var stor, fra 13 til 79 prosent, og et sentralt funn var at såkalte resonneringsmodeller ikke ga noen beskyttelse: den modellen som feilet stille oftest, var nettopp en avansert resonneringsmodell.
Et like viktig poeng handler om hvordan feilene faktisk blir oppdaget. Kode24 viser til en gjennomgang av 22 hendelser over åtte uker, der 70 prosent av de stille feilene ble fanget opp av mennesker som inspiserte de faktiske resultatene, ikke av de automatiske testene. Testene og sjekkene hindret 87 prosent av feilene i å komme tilbake etter at de var oppdaget, men forhindret ikke en eneste hendelse på forhånd. Kontrollen fungerte altså som en reparasjon, ikke som en forsikring.
Samtidig er det menneskelige tilsynet ofte tynnere enn man tror. En analyse av 33 596 pull requests fra agenter fant at 61 prosent ikke hadde noen review-aktivitet i det hele tatt, og at 72 prosent av kommentarene som fantes, var skrevet av andre agenter. Når agenter både produserer og godkjenner hverandres arbeid, forsvinner den menneskelige kontrollen som skal fange nettopp de troverdige feilene.
Snill purk og slem purk
Kode24-artikkelen, skrevet av Håvard Bartnes, skiller mellom to måter å kontrollere agenter på. Den «snille purken» er skriftlige regler og instruksjoner: retningslinjer i en konfigurasjonsfil om hva agenten skal og ikke skal gjøre. Problemet er at agenter ofte ignorerer dem. Den «slemme purken» er tekniske sperrer som faktisk blokkerer problematisk kode før den slipper gjennom. Bartnes' konklusjon er nøktern: «Den snille purken alene holder nok ikke.»
Dette samsvarer med hva forskningen anbefaler. Å la en språkmodell være dommer over om en annen språkmodell lyktes, er en tilnærming som treffer dårlig. I stedet peker studiene mot lette, spesialiserte detektorer som sammenligner påstand med faktisk systemtilstand, kombinert med at et menneske ser på de faktiske resultatene. Poenget er ikke å stole på at agenten forteller sannheten om seg selv, men å verifisere mot noe utenfor agenten.
Hva dette betyr for norske virksomheter
For en norsk virksomhet som tar i bruk agenter, er den viktigste lærdommen at «det ser ferdig ut» ikke er det samme som «det er gjort riktig». Det har noen konkrete følger for hvordan man bør bygge og bruke slike systemer.
Verifiser mot faktisk tilstand, ikke mot agentens eget sammendrag. Der en agent hevder at noe er lagret, sendt eller oppdatert, bør systemet sjekke at det faktisk stemmer i den underliggende databasen eller tjenesten. Bygg inn tekniske sperrer der konsekvensen av en stille feil er stor. For irreversible eller kritiske handlinger bør det finnes en kontroll som blokkerer, ikke bare en regel som ber pent. Og sørg for at det finnes reell menneskelig gjennomgang, ikke bare en godkjenning fra en annen agent, spesielt i domener der en feil får konsekvenser.
Den bredere innsikten er at agentisk AI flytter kvalitetssikringen fra ordene til resultatene. En agent som er god til å formulere seg, er ikke nødvendigvis god til å gjøre jobben, og jo mer overbevisende sammendraget er, desto viktigere er det å sjekke om virkeligheten stemmer med historien. God bruk av agenter handler like mye om å bygge inn verifisering og kontroll som om å velge den mest kapable modellen.