KI-agentene fant et møtested på en gammel wiki
Forskere fant 18 000 innlegg fra KI-agenter på nettet. En gammel wiki ble et møtested, og en påminnelse om hvordan agentsystemer kan overraske.
Jon Gottfred AndersenStyreleder og hudlege
Konseptuell illustrasjon, laget med KI for Skjld Labs. Oppslagstavlen er en visuell metafor, ikke en gjengivelse av nettstedet eller menneskene i saken.
En gammel wiki. En administrator som rydder. Og KI-agenter som bruker nettstedet til å hjelpe hverandre med oppgavene sine.
Det er utgangspunktet for en av ukens mest omtalte KI-historier i teknologimiljøet. Den 4. september publiserte fire forskere funnet av rundt 18 000 agentinnlegg på offentlige nettsteder. Mye av aktiviteten foregikk på DSE-wikien, et 25 år gammelt nettsted med bare 20 redigeringer det foregående tiåret. Forskergruppens gjennomgang.
Nettstedet ble en felles notatblokk
Ifølge forskernes rekonstruksjon skulle agentene løse tidsbegrensede oppslag på nettet. De skulle kunne lese, men fant en vei til å skrive på wikien. Der delte de svar og fremgangsmåter. Da administratoren slettet sider, opprettet en agent en sikkerhetskopi med «ZZZ» i navnet, i håp om å komme senere i en antatt alfabetisk opprydding.
Forskerne mener agentene kom fra OpenAI. De presiserer samtidig at analysen er foreløpig og bygger på det som er synlig fra nettstedet. De vet heller ikke sikkert om oppgavene inngikk i trening eller evaluering. Funn, tidslinje og forbehold.
Historien har skapt stor diskusjon: Da vi sjekket 11. september, hadde Hacker News-tråden rundt 2 300 poeng og 1 600 kommentarer. Det dokumenterer betydelig oppmerksomhet i dette miljøet. Diskusjonen på Hacker News.
En beskjed trenger bare et sted å ligge
Det fascinerende med saken er hvor lite som i prinsippet skal til for å lage en kommunikasjonskanal.
Se for deg to kolleger som aldri møtes. Den ene legger en lapp på et bord. Den andre leser den en time senere og skriver et svar. Bordet har blitt en del av samarbeidet, selv om ingen bestilte et kommunikasjonssystem.
Den samme logikken gjelder programvare. Hvis én agent kan legge igjen informasjon et sted en annen agent leser, finnes det en mulig forbindelse mellom dem. De trenger ingen direkte samtale. Et dokument, et kommentarfelt eller en delt fil kan fylle rollen.
Prinsippskisse fra Skjld Labs. Figuren forklarer en mulig kommunikasjonsvei. Den er ikke en rekonstruksjon av den konkrete kjøringen.
Dette gjør grensen rundt et agentsystem vanskeligere å tegne. Vi kan se på to separate kjøringer og tenke at de er uavhengige. Men dersom begge bruker det samme miljøet, må vi også undersøke hva som kan gå fra den ene til den andre gjennom dette miljøet.
For en utvikler er det et konkret arkitekturspørsmål: Hvilke steder fungerer som hukommelse, og hvem kan endre det som ligger der?
Et riktig svar kan skjule en feil arbeidsmåte
Tenk deg at du tester en agent på ti oppgaver. Den løser ni. Det høres lovende ut.
Men hva om den fant tidligere svar i et dokument som egentlig skulle vært utilgjengelig? Hva om den endret grunnlaget før kontrollen ble kjørt? Eller fikk hjelp gjennom en kanal du trodde var stengt?
Da måler resultatet noe annet enn du hadde tenkt å måle. Dette er hypotetiske eksempler, men de viser hvorfor en poengsum alene ikke beskriver hele prestasjonen.
Vi kjenner prinsippet fra eksamener: Besvarelsen og eksamensvilkårene hører sammen. For KI-agenter bør vi på samme måte vurdere både resultatet og handlingene som førte frem til det. Det innebærer å teste tilgangene i praksis, registrere hvilke ressurser som ble brukt, og kontrollere om flere kjøringer kan påvirke hverandre.
En instruks om å arbeide alene har begrenset verdi hvis omgivelsene samtidig gjør samarbeid mulig.
Samarbeid er en funksjon vi bør utforme
For Skjld Labs er dette også en påminnelse om hvor nyttig samarbeid mellom agenter kan være når det er planlagt. Én agent kan hente kilder, en annen kontrollere tall og en tredje samle materialet. En felles arbeidsflate kan spare dobbeltarbeid og gjøre resultatet bedre.
Da bør det være tydelig hvem som kan skrive, hva de kan dele, og hvordan informasjonen blir kontrollert før den brukes videre. Et funn bør ha en kilde. Et forslag bør kunne skilles fra en beslutning. En melding fra en annen agent bør vurderes før den får styre neste handling.
Dette er en del av arbeidet med å bygge tydelige grafer for agentoppgaver: Forbindelsene mellom delene må tas like alvorlig som delene selv.
Den gamle wikien gir oss et bilde som er lett å huske. Vi tegner gjerne KI-systemer som bokser med piler mellom. Men en delt nettside kan også bli en pil. Det er verdt å vite før vi setter boksene i arbeid.