Nevrale nettverk, illustrert. (Foto: Istockphoto)
Nevrale nettverk, illustrert. (Foto: Istockphoto)

OpenAIs nye språkmodell sier noe om hvordan KI fungerer

Vi kan kanskje ikke vinke farvel til sorte bokser med det første – men OpenAIs forskere prøver å gjøre nevrale nettverk mer forståelige og forklarbare. Mer om dette og alt annet som har skjedd i tech-verdenen i ukas Bits & Bytes.

Bits & Bytes

OpenAI (mest kjent for ChatGPT), har bygget en ny, eksperimentell stor språkmodell.

Den er ikke laget for å erstatte ChatGPT, men for å se om det er mulig å lage en modell som det faktisk er mulig å forstå og ettergå.

– Mens KI-systemer blir kraftigere, kommer de også til å bli integrert i flere viktige domener. Derfor er det viktig å passe på at de er trygge, sier Leo Gao, forsker ved OpenAI til MIT Technology Review.

Er vi ferdige med «sorte bokser?»

Når man snakker om kunstig intelligens i dag, dukker begrepet sorte bokser ofte opp. Det handler om at man aldri helt kan se hvordan et KI-system kommer frem til et resultat.

I tradisjonelle nevrale nettverk skjer behandlingen av informasjon gjennom millioner (iblant til og med milliarder) av matematiske operasjoner. Disse skjer i flere lag av kunstige «nevroner» som kobles sammen på tvers av lagene.

Det betyr at signalene som sendes mellom lagene er så mange og så sammensatte at det er umulig å følge resonnementet trinn for trinn.

OpenAIs nye modell, er derimot ikke bygget som et tradisjonelt nevralt nettverk, men heller noe de kaller for weight-sparse transformers.

Der er hvert nevron kun koblet til noen få andre nevroner. Slik tvinges modellen til å samle mønstre og informasjon i små, avgrensede klynger, i stedet for å spre dem utover i et stort og uoversiktlig nettverk.

Kan følge modellen trinn for trinn

Modellen er både mindre og langt tregere enn dagens avanserte språkmodeller.

Men til gjengjeld er det mulig å forstå hvordan de kunstige nevronene samarbeider for å løse en oppgave.

Ifølge MIT Technology Review har OpenAI testet modellen svært enkle oppgaver, som å gi modellen en setning som starter med anførselstegn, og be den avslutte med riktig anførselstegn på slutten.

– Selv en såpass enkel oppgave, skjuler et enormt nett av interne beregninger, sier Gao.

Men med den nye modellen kunne forskerne følge hvordan modellen resonnerte, trinn for trinn.

– Vi fant faktisk en krets som følger den samme algoritmen vi selv ville brukt. Det lærte modellen helt på egen hånd. Bare det er utrolig kult og veldig spennende.

Den norske Tsetlin-maskinen

OpenAI er ikke alene om å utforske forklarbar kunstig intelligens.

Digital Norway har tidligere snakket med Ole-Christoffer Granmo ved Universitetet i Agder, som har utviklet Tsetlin-maskinen – et alternativ til nevrale nettverk, med en beslutningsstruktur som er sporbar og forståelig for mennesker.

– I stedet for kompliserte nettverk av matematiske vekter og lag på lag med transformasjoner, bruker Tsetlin-maskinen enkle ja/nei-beslutninger for å bygge opp logiske uttrykk – som kan leses, forstås og etterprøves av mennesker, forklarer han.

Besøk av «KI-gudfar»

Mange mener forklarbar KI er en forutsetning for pålitelig KI.

Denne uken åpnet det nye KI-senteret TRUST i Oslo, som skal forske på nettopp pålitelig kunstig intelligens. Til stede ved åpningen var én av tre «KI-gudfedre», Yoshua Bengio.

I et større Aftenposten-portrett snakket forskeren om sin løsning på pålitelig KI, noe han kaller for AI Scientist: En KI-modell som skal forstå verden ut fra årsak og virkning, i stedet for å etterligne menneskelige mønstre.

– AI Scientist vil bare brukes til å sjekke svarene fra modellene før de får lov til å svare. For eksempel kan man bruke den til å spørre om en gitt handling som en KI foreslår, er akseptabel ifølge reglene vi mennesker har satt opp, forteller han i intervjuet.

Og mens forskere, myndigheter og industrien forsøker å løse disse store spørsmålene, skjer det også mye annet i skjæringspunktet mellom teknologi, digitalisering og samfunn. Her er noen av de viktigste nyhetene fra uken som gikk:

KI-nytt

Sikkerhet

Er vi i en KI-boble?

Ikke lett å være ung i arbeidslivet

Ikke lett å være barn før arbeidslivet

Det lages mye KI-genererte greier

Politikk

Kvantedatamaskiner og massive datasentre

Diverse