Er KI-buffeten over?

Snart må brukere av Github Copilot betale for hvor mye de faktisk bruker tjenesten, i stedet for en fast månedspris.

Fra 1. juni flytter Microsoft nemlig KI-kodeassistenten over til en bruksbasert prismodell.

Det betyr helt enkelt at en storforbruker må punge ut mer, mens en som ikke bruker Github Copilot så mye betaler mindre. Det høres rettferdig ut, gjør det ikke?

Problemet er at mange av oss har blitt svært godt vant med at en fast månedsplan dekker de fleste av våre KI-behov. Også tunge oppgaver.

– I dag kan et raskt spørsmål i chatten og en flere timer lang autonom kodeøkt koste brukeren like mye, skriver Mario Rodriguez, produktsjef for Github i en bloggpost.

– Github har tatt store deler av de økende inferenskostnadene bak denne bruken, men dagens modell med premiumforespørsler er ikke lenger bærekraftig.

Kan dette være et tegn på at «KI-buffeten» er over?

Nvidia-sjefen vil du skal bruke mer tokens

For å ta det først: Å betale etter antall tokens er gammelt nytt i KI-verdenen.

Tokens er små tekstbiter som store språkmodeller gjør om til numeriske størrelser. Det kan være ord, deler av ord, tegn eller kodebiter, som modellen bruker til å beregne hva som sannsynligvis hører sammen.

Jo større eller tyngre oppgaven er, desto flere tokens går med.

For dem som bruker KI gjennom et API, enten for å bygge egne produkter eller kjøre tunge oppgaver, er det vanlig å betale per token.

Nvidia-sjef Jensen Huang har sagt at selskaper bør bruke en sum tilsvarende minst halvparten av utviklernes lønn på tokens. Han mener høyt tokenforbruk kan være et tegn på at utviklere faktisk bruker KI til å få mer gjort.

– Hvis utvikleren din med en årslønn på 500 000 dollar ikke bruker tokens for 250 000 dollar, er det noe som skurrer, sa han tidligere denne våren i livepodkasten «All-in Podcast».

Det bør nok nevnes at Nvidia-sjefen har en ganske åpenbar interesse for å fremme slik bruk. Jo flere tokens som brukes, desto større etterspørsel etter brikkene Nvidia lever av å selge.

– Laget for tung chatbruk

For folk flest har token-pratet hatt liten betydning. Vanlige abonnementer har gitt mer enn nok KI for pengene. Ivrige vibbekodere og agentbyggere har fått det de trenger fra fastprisløsninger.

Nå kan det likevel virke som at de største KI-tilbyderne utfordres til å tenke nytt rundt egne prismodeller.

Nylig testet Anthropic å flytte sin populære tjeneste Claude Code over fra Claude Pro-abonnementet deres, som koster 20 dollar i måneden, til Claude Max; den dyreste prisplanen som selskapet tilbyr. Denne har en månedspris på 100 dollar.

Ifølge selskapet selv var dette en svært begrenset test som bare rammet to prosent av nye Claude-brukere.

Samtidig har Anthropic begynt å styre bruken strengere etter kapasitet. Når mange bruker Claude samtidig, kan tunge oppgaver få mindre plass. Når trafikken er lavere, kan brukerne få mer å gå på.

Amol Avasare, vekstsjef i Anthropic, har uttalt at abonnementsløsningene kom før Claude Code og «agenter som kjører i timesvis», ifølge The Register:

– Max ble laget for tung chatbruk. Det er det eneste, skriver han.

– Derfor ser vi på ulike løsninger for å fortsatt kunne gi brukerne en god opplevelse. Vi vet ennå ikke nøyaktig hvordan de løsningene vil se ut. Det er nettopp det vi tester og henter tilbakemeldinger på nå.

Hva koster egentlig KI?

Det kommer neppe som et sjokk at KI-prisene endrer seg.

Tilgangen vi har i dag er i stor grad subsidiert av de store KI-selskapene. Brukerne betaler en relativt lav månedspris, mens selskapene tar mye av regningen for regnekraft, infrastruktur og modellutvikling.

OpenAI melder om at de først forventer å gå i null i 2030. Anthropic på sin side forventer positive resultater allerede i år, røde tall i 2027, før det igjen blir overskudd i 2028 og 2029, melder Yahoo Finance.

Denne prisingen har gjort det mulig å bygge enorme brukerbaser raskt. Den harde konkurransen har også gitt oss forbrukere billigere produkter.

Samtidig betyr det at prisene vi har vent oss til ikke reflekterer hva tjenestene egentlig koster å levere.

Kostanden kan falle med 90 prosent

Mange lurer naturligvis på om kunstig intelligens kommer til å bli drastisk mye dyrere å bruke. Heldigvis er bildet mer sammensatt.

De siste årene har kostnaden per token falt kraftig. Ifølge Epoch AI koster KI på GPT-4-nivå rundt en tusendel av hva det gjorde da GPT-4 ble lansert. Gartner mener på sin side at kostnaden for inferens i store språkmodeller kan falle med 90 prosent innen 2030.

Utviklingen drives av bedre maskinvare, bedre modelldesign, spesialiserte KI-brikker og mer effektiv kjøring av modeller.

Samtidig er det verdt å ha i bakhodet at prisen vi betaler for kunstig intelligens trolig vil henge tettere sammen med hvor mye regnekraft vi faktisk bruker.

Da må vi kanskje snakke mer om hvordan teknologien kan brukes på måter som gir mest mulig verdi for ressursene som går med.

Kanskje selskaper kommer til å ansette juniorutviklere for å optimalisere enkle kodebaser, slik at de slipper å brenne unødvendige tokens på primitive oppgaver?

(Merk: innholdet i det siste innlegget vi refererer til er satire).

Det har skjedd mye annet spennende innen KI, sikkerhet, data og annen tech den siste uka. Her har vi oppsummert de viktigste sakene:

Kunstig intelligens

Arbeidsliv og studier

Sikkerhet

Musk vs OpenAI

Robotikk

Diverse