Ekspertenes tips til å lykkes med KI-agenter: – Viktig å stille de riktige spørsmålene

Hva er egentlig ståa med KI-agenter i Norge i dag?

Det er ingen underdrivelse å påstå at agentisk teknologi er i vinden, om det så kalles KI-assistenter, KI-agenter, copiloter eller noe helt annet.

Kort sagt er dette skreddersydde verktøy som, mer eller mindre autonomt, kan hjelpe til med, eller ta seg av, digitale oppgaver i arbeidshverdagen.

Samtidig hersker det mye forvirring. Hva kan KI-agenter egentlig gjøre? Hvordan kommer man i gang, og hvilke fallgruver bør man unngå?

– De vanligste spørsmålene jeg får fra medarbeidere handler om nettopp dette: Hva er agenter, og hvorfor er det så mange leverandører som sier at jeg trenger det, sier Seong Eun Cho, data scientist i Equinor.

Denne uken delte han, sammen med representanter fra NRK, Statens vegvesen og Skatteetaten, sine erfaringer på Digital Norways fagnettverk for KI-kompetanse.

– Det er utrolig nyttig å kunne dele erfaringer, utfordringer og praktiske tips på tvers av virksomheter, sier Cho.

Equinor: – Viktig med etisk bruk

Under seansen begynte Cho å fortelle om hvordan Equinor fokuserer på å gi medarbeidere grunnleggende forståelse for hvordan språkmodeller og KI-agenter fungerer.

Det innebærer alt fra å vite om websøk er aktivert (og hvilken søkemotor som brukes), hvor dataene hentes fra og lagres – til hvordan resultatene kan kvalitetssikres og brukes trygt i praksis.

– Det er også viktig at de ansatte kan ta stilling til om det er etisk riktig å bruke en agent i en bestemt oppgave, sier han.

Equinor kan ikke ukritisk ta i bruk ferdige KI-løsninger uten å forstå konsekvensene. Cho forteller blant annet om en workshop der de testet en agent som kunne gjennomføre innkjøp:

– Problemet var at agenten systematisk prioriterte spesifikke leverandører. Hva skjer da med de små aktørene? De forsvinner fra radaren. Det er ikke ansvarlig bruk av KI. Dette er spørsmål man må stille når man innfører ny teknologi.

Utvikler egen treningsplattform for KI-agenter

– Fremover er det nok ganske mange KI-agenter som skal inn i Equinor. Og for vårt team er det umulig å vurdere alle løsningene, stille de riktige spørsmålene og gjøre alle de etiske vurderingene som kreves, fortsetter Cho.

Derfor jobber de med å utvikle en intern plattform for KI-agenter, som skal gi oversikt over hvilke agenter som finnes, hva de kan brukes til – og hva de ikke bør brukes til.

Kjernen i løsningen er et «use-case-bibliotek» med eksempler på gode og dårlige bruksområder, utviklet av brukere og vurdert av eksperter.

–Hver agent får sitt eget dashbord med alternative forslag til gode prompts og tydelige advarsler om formuleringer og bruksområder som kan være problematiske, forklarer Cho.

Statens Vegvesen: – God erfaring med hyllevare for generativ KI

For Statens Vegvesen har KI-agenter vist seg å gi stor verdi.

– Vi har brukt hyllevare i stor skala. Brorparten av porteføljen vår av agenter er laget med lavkodeverktøy fra Microsoft. Riktig verktøy gir riktig verdi, sier KI-arkitekt Kjetil Ringstad fra Statens Vegvesens IT-avdeling.

Blant agentene de utforsker, er én som svarer på generelle spørsmål om personvern og én som samler og gir oversikt over KI-initiativ i organisasjonen.

– Vi som så mange andre er presset på ressurser, og må finne måter å utnytte tiden vår bedre. Jeg har tro på at dette kan hjelpe oss i en uoversiktlig hverdag.

– Vi trenger mange ideer for å finne de gode løsningene

Ringstad sier det er viktig å gi ansatte verktøy for å utvikle egne løsninger, og viser til statistikk fra kurset Design Thinking for Difficult Times: Leading and Scaling Organizational Change – fra Stanford Design School gitt fra Startuplab.

– Der sies det at av 4000 ideer, blir 226 til prototyper. Av disse blir kanskje 12 til prosjekter som til slutt gir 2–3 faktiske tjenester.

– Poenget er at vi trenger mange ideer for å finne de virkelig gode løsningene. Det betyr at vi må senke terskelen for å teste ting ut, og gjøre det enkelt for de som står midt i arbeidet å komme med digitale løsninger, sier han.

– I disse dager lanseres også vår nye chatbot på vegvesen.no, som er bygget med hyllevare i samarbeid med en leverandør, forteller han.

Skatteetaten: – Gi ansatte gode og trygge verktøy

Bjørn Eriksen jobber i Skatteetatens realiseringsteam for KI. Det er et tverrfaglig team bestående av blant annet jurister, sikkerhetsfolk og plattformutviklere.

For dem har det vært viktig å kunne tilby de ansatte i Skatteetaten gode, men sikre KI-verktøy.

– Vi har blant annet gått nøye gjennom Microsofts verktøy for å sikre at data behandles i henhold til våre policyer, og sikre at informasjon ikke påvirker svarene agentene gir, sier Eriksen.

Han forteller at det har vært særlig viktig å forstå hvor data i Bing-søk gjennom Copilot behandles, og hvorvidt de kan lagres utenfor EØS-området.

– Om det er tilfelle, bør Bing-søk være skrudd av i alle ledd i hyllevaren hvis produksjonsdata skal behandles. Her har vi måttet gå opp løypa, sier han.

Nå er over 1200 ansatte med i piloten for SkattGPT, en intern språkmodell-løsning. Målet er at den skal rulles ut til hele organisasjonen på over 7000 ansatte i løpet av oktober.

– SkattGPT er en generisk, men sikker chatløsning. Man kan laste opp egne dokumenter og bruke kraften fra store språkmodeller uten risiko, sier Eriksen.

Han viser til undersøkelser som sier at det ofte er flere som bruker KI i virksomheter enn de som faktisk har tilgang på bedriftsløsninger. Sikkerhetsrisikoen knyttet til såkalt skygge-IT, er med andre ord noe man bør ta på alvor, mener han.

– Det å bruke KI utenfor organisasjonens kontroll er en sikkerhetsrisiko. Da er det mye bedre å kunne tilby gode verktøy internt innen kontrollerte oppgaver.

Han peker også på at regulering og kompetanse blir stadig viktigere for å lykkes med trygg KI-bruk.

– AI Act og den norske lovgivningen som følger stiller krav til «AI literacy» for organisasjoner som bruker KI. Vi ser at opplæring i KI, altså forståelse av styrker og svakheter, hva man kan bruke teknologien til og hva man bør unngå, er en helt nødvendig og prioritert del av satsingen på å ta i bruk KI i etaten.

Agenter for journalføring og skattespørsmål

Skatteetaten tester nå en arkivassistent som kan avgjøre om dokumenter skal journalføres. Målet er å gjøre arkivering enklere og raskere for ansatte.

– For de som ikke er vant til å jobbe med journalføring og arkivering, skal det være enkelt å finne ut om et dokument må arkiveres eller journalføres, sier han.

De ser også ulike agenter for å gjøre Skatte-ABC og andre veiledere som skal hjelpe ansatte å finne svar på skatteregler uten å lete manuelt.

– Vi tester også ferdigskrevne prompts som hjelper brukeren å stille spørsmål på riktig måte, sier han.

Utvikle selv eller hyllevare?

Han forteller at erfaringene med arkivassistenten – som fortsatt er på pilotstadiet – har vært lærerike. Da Microsoft byttet språkmodellen som ligger i bunnen, endret assistenten plutselig oppførsel og sluttet å fungere slik de var vant til.

– For oss som jobber med skattespørsmål, er det helt avgjørende å være presise og å forstå konsekvensene av det vi gjør. Derfor må vi regresjonsteste språkmodeller når det kommer ny versjon. Vi må være sikre på at svarene fortsatt stemmer, sier Eriksen.

Han peker på at dette illustrerer et større dilemma: Skal de bygge løsninger som gir dem full kontroll selv, eller lene seg på leverandørene og være prisgitt deres utviklingsløp?

– Vi starter med å lage våre egne assistenter og agenter. I tillegg bruker vi flere hundre programmer og det er dermed veldig sannsynlig at mange får tilgang på en «KI-knapp» fremover. Da må vi ha full kontroll på hva som faktisk skjer i bakgrunnen.

NRK: – KI brukes bredt

Pernille Karlsen jobber med HR-teknologi i NRK. Hun forteller at arbeidet med kunstig intelligens de siste årene generelt har vært preget av utstrakt testing, eksperimentering og opplæring på tvers av hele organisasjonen.

– NRK startet med å utforske hvordan KI kunne støtte kjerneproduksjonen og de redaksjonelle miljøene, men har etter hvert utvidet til mange andre områder, sier hun.

– I dag brukes KI på ulike måter innenfor journalistikk, innholdsproduksjon, teknologi og administrasjon.

NRK har blant annet utviklet sin egen NRKGPT for redaksjonelle miljøer og har eksperimentert med spesialiserte assistenter for administrative funksjoner. I tillegg har mer enn 2000 medarbeidere fått kursing i hvordan KI kan støtte det daglige arbeidet.

Karlsen forteller at målet har vært å bygge trygghet og kompetanse, slik at medarbeidere kan se hvordan KI kan hjelpe i konkrete arbeidsprosesser.

– Nå beveger vi oss inn i en fase der vi også skal integrere KI mer direkte i kjerneprosessene våre.

I hennes divisjon har de pilotert ChatGPT-enterprise.

– Vi har jobbet for at alle har fått teste, og har hatt et ønske om at alle skulle få kjennskap til hvordan assistenter kan bygges opp. På den måten har man kunnet teste og se potensialet som ligger i KI, og vi tror at all lærdom vi gjør oss vil ha en verdi.

– Et viktig steg fremover for oss blir overgangen til Google Workspace i løpet av høsten. Det vil gi alle ansatte tilgang til Googles KI-verktøy og gjøre det enklere å bruke kunstig intelligens som en naturlig del av arbeidsdagen.

– Inspirerende

Dragana Trifunivoc er fagansvarlig for kunstig intelligens i Digital Norway. Hun forteller om god respons fra deltakerne på fagnettverket.

– Det er utrolig inspirerende å se hvordan erfaringer og praksis deles på tvers av virksomheter. Mange oppdager at selv om de kommer fra helt ulike bransjer og sektorer, står de overfor de samme spørsmålene, og finner mange av de samme svarene, sier hun.

Hun legger til at det er ekstra gøy å se hvordan deltakerne selv tar initiativ til å fortsette samtalen utover fagnettverkene.

– Etter et spørsmål fra salen om hvordan man utvikler en KI-strategi, inviterte Statens vegvesen de interesserte til et Teams-møte. Der planlegger de å gå gjennom hvordan de har jobbet med dette og dele sine erfaringer. Det er slike initiativ som gjør disse samlingene ekstra verdifulle, sier hun.