GPT-3 bliver lanceret
OpenAI lancerede GPT-3 med 175 milliarder parametre. Modellen viste, at skalering kan give nye evner som few-shot learning, hvor opgaver løses ud fra få eksempler.
I maj 2020 udgav OpenAI paperet "Language Models are Few-Shot Learners". GPT-3 var den hidtil største sprogmodel, men det vigtigste var dens evne til at løse opgaver ud fra få eksempler i prompten.
Skalering som strategi
GPT-3 byggede på ideen om, at mere data og flere parametre giver bedre modeller. Springet fra GPT-2 til GPT-3 var enormt, og træningen krævede store ressourcer. Resultaterne viste, at forbedringerne var systematiske og målbare, ikke tilfældige.
Few-shot læring
Modellen kunne udføre nye opgaver, når man gav få eksempler i prompten. Det betød, at man ofte kunne undgå finjustering og i stedet styre modellen med tekst. Det gjorde GPT-3 fleksibel i praksis og inspirerede til nye produktidéer.
Begrænsninger og adgang
GPT-3 kunne producere imponerende tekst, men den hallucinerede også fakta og kunne være skæv i sine svar. Modellen blev gjort tilgængelig via en API, hvilket gav mange adgang til teknologien uden at træne egne modeller. Samtidig rejste det diskussioner om kontrol og ansvar.
Impact og Betydning
GPT-3 satte gang i en bølge af nye produkter og tjenester. Den ændrede også den offentlige diskussion om, hvor hurtigt AI udvikler sig. For mange blev GPT-3 et signal om, at generelle sprogmodeller kunne få praktisk betydning i hverdagen.