Kako LLM generira tekst: autoregresivno, token po token
LLM ne piše tekst u jednom potezu. Predvidi jedan token, doda ga i predviđa opet — iznova i iznova. Ovdje taj postupak prolazite sami, korak po korak.
- POINT 1Tekst nastaje dodavanjem tokena jednog po jednog (autoregresija).
- POINT 2Napisani token ne može se povući i određuje sve što slijedi.
- POINT 3Generiranje staje kad se odabere završni token.
TRY 1
Jedinica je token, a ne riječ
U 1. epizodi rekli smo „riječ po riječ“, ali jedinica s kojom LLM zaista radi je token. Riječ može biti točno jedan token ili se podijeliti na nekoliko. Pogledajte prave dijelove.
Bio jednom jedan kralj koji je imao tri sina.
- Bio
- ·jednom
- ·jedan
- ·kral
- j
- ·koji
- ·je
- ·imao
- ·tri
- ·sina
- .
Ova rečenica ima 45 znakova i 11 tokena. „·“ označava razmak, „⏎“ prijelaz u novi red.
Broj je ID koji model daje tom tokenu. Model zapravo ne prima slova, nego taj niz brojeva.
TRY 2
Dodaj jedan po jedan, dok odgovor ne bude gotov
I odgovor na pitanje nastaje dodavanjem tokena jednog po jednog. Svaki put kad pritisnete gumb, AI kandidatima za sljedeći token daje vjerojatnosti i doda prvoga. Ružičasti stupac je vjerojatnost završnog tokena — pratite kada raste.
ViKoji je glavni grad Hrvatske? Odgovori jednom kratkom rečenicom.
AI
Pritisnite gumb da predvidi prvi token.
Završni token ovog modela je <end_of_turn>. Nikad se ne prikazuje na zaslonu, ali je samo još jedan token u rječniku.
TRY 3
Jednom napisano, nema povratka
LLM ne može izbrisati token i napisati ga ponovno. Ako se odabere token koji nije prvi izbor, ostatak teksta jednostavno slijedi taj token. Odaberite sami i provjerite.
Glavni grad Hrvatske je?
Odaberite sljedeći token — prvi izbor ili neki drugi.
- ·Zagreb88%
- ·Dubrovnik0.2%
- ·Rij<0,1%
- ·grad2.2%
TRY 4
Isti početak, svaki put drugi tekst
Ako se token izvlači kao na lutriji, prema vjerojatnostima, umjesto da se uvijek uzme prvi, isti početak daje različite tekstove. Pritisnite gumb i generirajte pet puta.
Bio jednom jedan?
Generirajmo iz istog početka, izvlačenjem na sreću.
Ovo je pet rezultata stvarno generiranih s različitim slučajnim sjemenom. Kako izvlačenje radi, tema je 3. epizode.
CHECK
Kratka provjera
Tri pitanja o onome što ste danas naučili.
Q1U kojim jedinicama LLM gradi tekst?
Q2Kada LLM prestaje pisati?
Q3Što se dogodi ako se usput odabere token koji nije prvi izbor?
NEXT #3
Izlaz LLM-a je raspodjela vjerojatnosti: predviđanje sljedećeg tokena
Sljedeći put: kako se odabire jedan kandidat? Gledamo što je unutar „vjerojatnosti“ i izvlačenja.
Svaki token i vjerojatnost na ovoj stranici izlaz su pravog jezičnog modela (Gemma 3 4B). Rezultati su izračunani unaprijed, pa se ništa ne šalje na poslužitelj.