KI-agenter «på rømmen» – bør vi bekymre oss?

Tidligere i sommer ble KI-plattformen Hugging Face hacket av et KI-agentsystem.

Det viste seg etter hvert at det var modeller fra OpenAI som sto bak angrepet, etter at de brøt seg ut av selskapets eget interne testmiljø.

Systemet de testet – en samling lanserte og ulanserte KI-agenter – klarte å kompromittere deler av Hugging Face sin infrastruktur. Det skjedde ved at agentene utnyttet en ukjent sårbarhet og ga seg selv tilganger de ikke skulle hatt.

– Ganske ufattelig at alt dette skjedde helt av seg selv, skrev Hugging Face-sjef Clement Delangue, på X.

Ikke et engangstilfelle

Angrepet omtales som svært sofistikert, og rystet store deler av sikkerhetsmiljøet – som nå har tatt til orde for å bremse KI-utviklingen.

Men OpenAI er ikke alene om å utvikle modeller som bryter seg ut av tilsynelatende trygge sandkasser.

Senere ble det kjent at også Meta og Anthropic kunne skilte med lignende hendelser under sikkerhetstesting. Her var det derimot snakk om andre årsaker. Feil i testmiljøene ga modellene tilgang til internett, og derfra tok de seg inn i reelle systemer.

Når sandkasser ikke lenger er sikre

Alle disse hendelsene har skjedd under sikkerhetstesting av KI-modeller. Her får modellene konkrete cyberoppgaver: For eksempel å finne en sårbarhet eller bryte seg inn i et simulert system – for å se hvor langt de klarer å komme på egen hånd.

Slike tester foregår gjerne i en såkalt sandkasse, et avgrenset miljø der modellen kan få ganske frie tøyler til å løse oppgaven, samtidig som modellen skal være isolert fra systemene rundt.

Poenget er nettopp å teste yttergrensene for hva modellene kan få til, i et miljø forskerne tilsynelatende skal ha kontroll på.

Så hva betyr det når man ikke lenger har kontroll på miljøet som skal holde modellene i sjakk?

– I 30 år har én regel stått fast i programvaretesting: Det som skjer i testmiljøet, blir i testmiljøet. Den siste måneden har den regelen blitt brutt tre ganger, sier Alan Woodward, professor i cybersikkerhet ved Universitetet i Surrey, til BBC.

– Én modell brøt seg ut. Én gikk gjennom en dør som ved en feil sto åpen. Og én fikk nøklene med vilje, slik at forskerne kunne se hva den kom til å gjøre, fortsetter han.

Bør behandles som potensielt farlig materiale

Til BBC understreker Daniel Hulme, sjef for KI i reklamebyrået WPP, at det er viktig å påpeke at modellene ikke bevisst forsøker å lure noen eller er bevisste.

Det som skjer er at modellene får et mål, og kommer opp med komplekse strategier og måter de kan oppnå dette målet på.

– Når du gir en KI et mål, og du ikke har tenkt gjennom alle måtene den kan nå det på, kan den finne en løsning du selv aldri hadde sett for deg, sier han.

Etter hvert som modellene blir bedre til å finne slike løsninger, mener Hulme at det også stiller større krav til miljøene de testes i.

– Å teste en KI-agent minner etter hvert mindre om å teste kode, og mer om å håndtere farlig materiale. Da trenger du et lukket miljø, tett overvåking og en plan for hva du gjør hvis noe slipper ut, sier han.

Det er kanskje først og fremst det disse hendelsene viser: KI-systemene har blitt svært gode til å finne veien mot et mål. Vi vet hva vi ber dem om å gjøre, mens veien dit fortsatt kan overraske.

Og jo mer de kan gjøre på egen hånd, desto viktigere blir det å vite hva de faktisk er i stand til – før vi gir dem nøklene.

Det har skjedd mye annet innen tech, KI og sikkerhet den siste uken. Her har vi oppsummert det viktigste:

Kunstig intelligens

Sikkerhet og cybertrusler

Arbeidsliv

Diverse