Javite se

Razumjeti LLM od nule#2

Kako LLM generira tekst: autoregresivno, token po token

LLM ne piše tekst u jednom potezu. Predvidi jedan token, doda ga i predviđa opet — iznova i iznova. Ovdje taj postupak prolazite sami, korak po korak.

  • POINT 1Tekst nastaje dodavanjem tokena jednog po jednog (autoregresija).
  • POINT 2Napisani token ne može se povući i određuje sve što slijedi.
  • POINT 3Generiranje staje kad se odabere završni token.

TRY 1

Jedinica je token, a ne riječ

U 1. epizodi rekli smo „riječ po riječ“, ali jedinica s kojom LLM zaista radi je token. Riječ može biti točno jedan token ili se podijeliti na nekoliko. Pogledajte prave dijelove.

Bio jednom jedan kralj koji je imao tri sina.

  1. Bio
  2. ·jednom
  3. ·jedan
  4. ·kral
  5. j
  6. ·koji
  7. ·je
  8. ·imao
  9. ·tri
  10. ·sina
  11. .

Ova rečenica ima 45 znakova i 11 tokena. „·“ označava razmak, „⏎“ prijelaz u novi red.

Broj je ID koji model daje tom tokenu. Model zapravo ne prima slova, nego taj niz brojeva.

TRY 2

Dodaj jedan po jedan, dok odgovor ne bude gotov

I odgovor na pitanje nastaje dodavanjem tokena jednog po jednog. Svaki put kad pritisnete gumb, AI kandidatima za sljedeći token daje vjerojatnosti i doda prvoga. Ružičasti stupac je vjerojatnost završnog tokena — pratite kada raste.

ViKoji je glavni grad Hrvatske? Odgovori jednom kratkom rečenicom.

AI

Pritisnite gumb da predvidi prvi token.

Završni token ovog modela je <end_of_turn>. Nikad se ne prikazuje na zaslonu, ali je samo još jedan token u rječniku.

TRY 3

Jednom napisano, nema povratka

LLM ne može izbrisati token i napisati ga ponovno. Ako se odabere token koji nije prvi izbor, ostatak teksta jednostavno slijedi taj token. Odaberite sami i provjerite.

Glavni grad Hrvatske je?

Odaberite sljedeći token — prvi izbor ili neki drugi.

Odaberite token koji dodajete
  • ·Zagreb88%
  • ·Dubrovnik0.2%
  • ·Rij<0,1%
  • ·grad2.2%

TRY 4

Isti početak, svaki put drugi tekst

Ako se token izvlači kao na lutriji, prema vjerojatnostima, umjesto da se uvijek uzme prvi, isti početak daje različite tekstove. Pritisnite gumb i generirajte pet puta.

Bio jednom jedan?

    Generirajmo iz istog početka, izvlačenjem na sreću.

    Ovo je pet rezultata stvarno generiranih s različitim slučajnim sjemenom. Kako izvlačenje radi, tema je 3. epizode.

    CHECK

    Kratka provjera

    Tri pitanja o onome što ste danas naučili.

    Q1U kojim jedinicama LLM gradi tekst?

    Q2Kada LLM prestaje pisati?

    Q3Što se dogodi ako se usput odabere token koji nije prvi izbor?

    Svaki token i vjerojatnost na ovoj stranici izlaz su pravog jezičnog modela (Gemma 3 4B). Rezultati su izračunani unaprijed, pa se ništa ne šalje na poslužitelj.