Språkmodeller kan «resonnere» og «huske» – men kan de lære?

Forskere har utviklet en metode som lar store språkmodeller forbedre seg selv og kontinuerlig lære. Mer om dette og resten av ukens tech-nyheter i Bits and Bytes.

Bits & Bytes

fre. 20. juni 2025

Kan språkmodeller lære noe nytt? Det er et mer komplisert spørsmål enn man kanskje skulle tro.

Joda. Dagens LLM-er kan «resonnere» og har «minne». De kan fintunes mot spesifikke oppgaver og bearbeide informasjon fra nettet eller eksterne datakilder.

Derfor er det fort gjort å tenke at språkmodeller også lærer over tid, på samme måte som anbefalingssystemer i nettbutikker eller maskinlæringsmodeller i finans gradvis forbedrer seg gjennom erfaring.

Men når en språkmodell først er trent, så er den statisk. Det må omfattende, kostbare og trinnvise oppdateringer til for å endre på modellen.

Nå har imidlertid forskere ved Massachutes Institute of Technology (MIT) utviklet en metode som gjør det mulig for store språkmodeller å kontinuerlig forbedre seg selv.

Metoden kalles for SEAL (Self Adapting Language Models). Dette innebærer blant annet at modellen genererer syntetiske treningsdata og justerer egne parametere i møte med ny og nyttig informasjon.

Wired skriver at denne metoden kan gi oss kraftigere KI-verktøy, som i større grad kan håndtere individuelle interesser og preferanser.

Som å skrive notater for å huske bedre

Selv om moderne språkmodeller kan «resonnere« seg frem til gode svar, så lærer de ingenting av å behandle informasjon. Modellen blir ikke bedre neste gang den får et lignende spørsmål.

Her skiller SEAL seg fra tradisjonelle LLM-er: Modellen bruker informasjonen den får tilgang til – og fletter den direkte inn i sine egne vekter og parametere.

La oss si at modellen får tilgang til nyheten om at renten har gått ned. Da vil systemet selv skrive korte avsnitt som forsøker å utforske hva det betyr for boligmarkedet, forbrukere og økonomien generelt.

Forskerne som Wired har snakket med sammenligner dette med hvordan mennesker skriver notater for å huske og forstå bedre.

Deretter bruker modellen sine egne tekster som treningsdata, oppdaterer seg selv – og tester om den faktisk har forbedret seg – en prosess kjent som forsterkende læring.

Sovende språkmodeller?

Pulkit Agrawal, professor ved MIT, sier at SEAL-prosjektet berører noen av de mest grunnleggende spørsmålene innen kunstig intelligens – som hvordan KI-systemer selv kan finne ut hva de bør lære.

– LLM-er er kraftige verktøy, men vi vil jo ikke at kunnskapen deres skal stoppe opp, sier han.

Samtidig påpeker forskerne bak prosjektet at SEAL krever mye regnekraft, og at det fortsatt er uklart hvordan man best planlegger nye læringsøkter. Et av de mer kreative forslagene er at språkmodeller – i likhet med mennesker – kanskje kunne hatt «søvnfaser», der ny informasjon bearbeides og festes i hukommelsen.

Det har skjedd mye annet spennende på teknologifronten den siste uken. Vi har samlet høydepunktene – her er ukens viktigste nyheter: