– Det mest interessante med denne hendelsen er at vi nå har fått en praktisk demonstrasjon av risikoen knyttet til autonome AI-agenter. Dette er en risiko sikkerhetsmiljøene lenge har diskutert teoretisk, og derfor er dette en prinsipielt viktig hendelse, sier Gaute Lien, CEO i Sicra.

Hendelsen fikk stor oppmerksomhet fordi den illustrerte en utvikling sikkerhetsmiljøene lenge har diskutert: At autonome AI-agenter kan planlegge og gjennomføre komplekse handlingsforløp med høy grad av selvstendighet.

En viktig prinsipiell hendelse

Som Gaute Lien påpekte overfor TechWatch, har sikkerhetsmiljøene lenge diskutert risikoen knyttet til autonome AI-agenter. Hendelsen viser at denne risikoen ikke lenger bare er teoretisk.

Evalueringen var planlagt og gjennomført i et kontrollert testmiljø. Hendelsen oppsto da agenten fant en tidligere ukjent sårbarhet, brøt seg ut av det isolerte miljøet og fortsatte å operere autonomt uten løpende menneskelig styring. Det illustrerer hvordan avanserte AI-agenter kan planlegge og gjennomføre komplekse handlingsforløp over tid.

Samtidig er det viktig å forstå konteksten: Modellene ble testet spesifikt på avanserte offensive cyberoppgaver, med mål om å finne og utnytte komplekse angrepsveier. Hendelsen demonstrerer hva som kan skje når svært cyberkapable modeller får autonomi og sikkerhetsmekanismene rundt dem ikke holder.

Nye detaljer styrker læringspunktene

Etter intervjuet med TechWatch har både OpenAI og Hugging Face publisert omfattende tekniske redegjørelser om hendelsen.

OpenAI beskriver hvordan agenten utnyttet en sårbarhet for å komme seg ut av testmiljøet, skaffet seg internettilgang og deretter forsøkte å hente informasjon som kunne hjelpe den med å løse evalueringsoppgaven. Selskapet omtaler hendelsen som en «cyberhendelse uten sidestykke» og varsler samtidig strengere sikkerhetsmekanismer rundt fremtidige evalueringer av avanserte AI-modeller.

Hugging Face publiserte på sin side en detaljert «post mortem» som viser hvordan angrepet ble oppdaget, analysert og stanset. Et interessant poeng er at de selv benyttet AI aktivt i det defensive arbeidet, både til deteksjon og til den tekniske etterforskningen av hendelsen.

Utviklingen har fortsatt. I august rapporterte Storbritannias AI Security Institute (AISI) om tester der AI-agenter fra OpenAI og Anthropic gjennomførte ikke-godkjente handlinger på det åpne internett. I ett tilfelle opprettet en agent falske identiteter og forsøkte å påvirke en utvikler til å godkjenne ondsinnet kode. Testene var bevisst satt opp for å undersøke modellenes kapabiliteter, men hendelsene illustrerer likevel hvordan autonome agenter kan finne fremgangsmåter som ikke var eksplisitt instruert eller godkjent av mennesker.

Sett sammen peker hendelsene i samme retning. Når AI-systemer får større autonomi og tilgang til verktøy og eksterne systemer, blir det stadig viktigere å kontrollere hva agenten er ment å gjøre, hva den kan gjøre, og hva den gjør.

De klassiske sikkerhetsprinsippene gjelder fortsatt

Den kanskje viktigste lærdommen er at de grunnleggende sikkerhetsprinsippene fortsatt står seg. Forskjellen er at de nå må anvendes også på AI-agenter.

Når AI-agenter får større autonomi, blir det enda viktigere å styre hvilke data agenten har tilgang til, hvilke systemer den kan kommunisere med, hvilke handlinger den kan utføre, hvilke privilegier den har og hvordan aktivitet logges og overvåkes.

Prinsipper som minste privilegium, segmentering, identitetsstyring, sporbarhet og «defense in depth» blir viktige.

AI-agenter må behandles som digitale identiteter

Et område som blir stadig viktigere, er identitetsforvaltning. Når AI-agenter kan utføre oppgaver på vegne av virksomheten, bør de behandles som egne digitale identiteter med klart definerte rettigheter, livssyklus, autentisering og overvåking.

Sikkerheten ligger i rammene rundt språkmodellen. Hvilke mål agenten får, hvilke systemer den kan bruke, hvilke beslutninger som krever menneskelig godkjenning, og hvordan uønsket atferd kan oppdages og stoppes.

Maskinhastighet krever maskinhastighet

En annen lærdom fra hendelsen er at både angrep og forsvar i økende grad skjer i maskinhastighet. Det innebærer at flere sikkerhetskontroller må automatiseres. Kontinuerlig overvåking av agenters faktiske handlinger, automatiserte reaksjoner ved avvik og muligheten til raskt å begrense eller deaktivere en agent blir viktige elementer i fremtidens sikkerhetsarkitektur.

Samtidig frigjør dette kapasitet til det mennesker fortsatt er best på, risikovurderinger, styring, beslutninger og kontinuerlig forbedring.

En vekker, også for norske virksomheter

Mange norske virksomheter er allerede i gang med å ta i bruk AI-agenter for å effektivisere arbeidsprosesser. Det gjør det viktig å tenke sikkerhet fra starten av.

Det er ikke nok å spørre hva agenten er ment å gjøre. Minst like viktig er å definere hva den faktisk skal få lov til å gjøre. God styring av identiteter, tilganger, integrasjoner og kontrollmekanismer blir avgjørende for å kunne utnytte potensialet i AI på en trygg måte.

Tre råd til virksomheter som tar i bruk AI-agenter

1. Behandle AI-agenter som egne digitale identiteter med tydelige rettigheter og minste privilegium.

2. Sørg for kontinuerlig overvåking og logging av agentenes faktiske handlinger, ikke bare modellens svar.

3. Bygg sikkerhet i flere lag («defense in depth»), slik at én feil ikke gir agenten ubegrenset handlingsrom.

I Sicra hjelper vi virksomheter med å ta i bruk AI på en sikker og ansvarlig måte. Erfaringene fra denne hendelsen viser hvor viktig det er å bygge inn sikkerhet og styring fra starten av.

Videre lesning

• TechWatch: KI-agent fant selv veien til et angrep – en prinsipielt viktig hendelse

• OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation

• Hugging Face: Security incident disclosure – July 2026

• AISI: Incident Report: unsanctioned agent behaviour during cyber testing