Hva er prompt injection?
Prompt injection er en sårbarhet i AI-systemer der innhold som behandles av modellen, påvirker modellens atferd eller svar på en utilsiktet måte. Sårbarheten kan utnyttes gjennom et angrep der en angriper forsøker å manipulere instruksjonene modellen følger. Målet kan være å få modellen til å ignorere opprinnelige instruksjoner, avsløre informasjon eller utføre handlinger den egentlig ikke skal utføre.
Prompt injection kan skje direkte når en bruker gir modellen manipulerende instruksjoner, eller indirekte når instruksjoner finnes i innhold som AI-systemet behandler. Det kan for eksempel være tekst på en nettside, i et dokument eller i andre datakilder som modellen får tilgang til. Instruksjonene kan være synlige, skjulte eller kodet på en måte som gjør at de behandles av modellen uten nødvendigvis å være tydelige for brukeren. Dersom AI-systemet tolker innholdet som instruksjoner, kan det påvirke modellens videre handlinger eller svar.
Risikoen blir særlig relevant når AI-systemer ikke bare genererer tekst, men også har tilgang til virksomhetens data, applikasjoner og andre verktøy. Et vellykket prompt injection-angrep kan da potensielt påvirke handlinger som utføres gjennom systemene modellen har tilgang til.
Man kan sammenligne prompt injection med å gi en medarbeider et dokument som inneholder beskjeder om å ignorere de egentlige arbeidsinstruksjonene. Dersom medarbeideren ikke klarer å skille mellom informasjonen som skal behandles og instruksjonene som skal følges, kan beskjedene påvirke hva medarbeideren gjør.
Sicra og prompt injection
Etter hvert som virksomheter integrerer AI-modeller med interne data, applikasjoner og automatiserte prosesser, blir det viktig å kontrollere hvilke ressurser AI-systemene kan få tilgang til, og hvilke handlinger de kan utføre.
Beskyttelse mot prompt injection handler derfor ikke bare om selve AI-modellen. Identitetsstyring, tilgangskontroll, begrensede privilegier, sikker arkitektur og kontroll med integrasjoner kan bidra til å redusere konsekvensene dersom en modell blir manipulert.
Det finnes ikke én enkelt kontroll som eliminerer risikoen. Beskyttelsen bør derfor bestå av flere lag, inkludert begrensning av modellens tilganger, validering av verktøykall, overvåking og krav om menneskelig godkjenning for handlinger med høy konsekvens.
Sicra bistår virksomheter med sikkerhetsstrategi, identitetssikkerhet og sikkerhetsarkitektur som kan bidra til å redusere risiko når AI integreres med virksomhetens systemer og data.
Tjenester
Sikkerhetsstrategi
Modenhetsanalyse for sikkerhet
Modenhetsanalyse for identitets- og tilgangsstyring
CISO-for-hire
Relaterte ord: Kunstig intelligens (KI), LLM (Large Language Model), Agentisk AI, GPAI (General-Purpose AI), NHI (non-human identities), IAM (Identity and Access Management), Identitetssikkerhet, Zero Trust, Cybersikkerhet