Javite se

Razumjeti LLM od nule#8

Cijeli put kroz LLM: tokenizacija, transformer, generiranje

U golemoj funkciji koju zovemo LLM pet koraka stoji u nizu: izreži tekst, pretvori ga u nizove brojeva, obrađuj ih blok po blok, izračunaj vjerojatnosti, odaberi jedan token. Na ovoj stranici klikaš po koracima karte i gledaš stvarne brojeve u svakom dijelu.

  • POINT 1U LLM-u je pet koraka: tokenizacija, embedding, transformerski blokovi, izlazni sloj, odabir.
  • POINT 2Transformerski blok pažnjom prikuplja, a feed-forward slojem obrađuje. Ovaj model ima 34 bloka.
  • POINT 3Za svaki token koji napiše model jednom prođe cijelu kartu. Karta je ujedno sadržaj svih 100 epizoda.

TRY 1

Klikaj po karti i zaviri u svaki dio

U LLM-u pet koraka stoji u nizu. Klikni na korak na karti i vidjet ćeš brojeve s kojima stvarni model (Gemma 3 4B) u tom dijelu doista radi.

↩ token odabran u koraku 5 dodaje se rečenici i vraća na korak 1

1. Tokenizacijareži

Kad se rečenica „Najviša planina u Hrvatskoj je“ izreže onako kako to radi model, dobije se 8 tokena. Zatim se svaki token zamijeni svojim stalnim brojem, ID-om tokena.

  • Naj90936
  • vi4176
  • ša39765
  • plan2731
  • ina1630
  • u559
  • Hrvatskoj220575
  • je2185

Broj iznad svakog stupca je ID tokena. ID je poput pločice s imenom: njegova veličina ništa ne znači (svi su stupci jednako visoki). Zapravo se na početak dodaje i oznaka početka <bos> (ID 2).

Detaljno u: 2. dio (epizode 9–16): Tokenizacija

Svi su brojevi izmjereni na stvarnom modelu ili pročitani iz datoteke modela (ukupno 3.880.099.328 parametara).

TRY 2

Jedan krug po karti za svaki token

Svaki pritisak redom prolazi pet koraka i određuje jedan token. On se dodaje rečenici i kreće novi krug. Broji krugove i koliko je blokova prijeđeno.

  1. 1Tokenizacija
  2. 2Embedding
  3. 3Transformerski blokovi
  4. 4Izlazni sloj
  5. 5Odabir

↩ token odabran u koraku 5 dodaje se rečenici i vraća na korak 1

Dosadašnji tekstNajviša planina u Hrvatskoj je

Krugova: 0Prijeđenih blokova: 34 × 0 = 0

  • Din92%
  • Sin4.0%
  • ␣0.9%
  • V0.6%
  • plan0.5%

Još nema krugova. Pritisni gumb: ide se od koraka 1 do koraka 5 i bira se prvi kandidat, „Din“ (92%).

Ovo su rezultati stvarnog modela kad se svaki put odabere prvi kandidat (izmjereno je osam krugova). Dok piše, ne mijenja se nijedan parametar.

TRY 3

Karta je sadržaj svih 100 epizoda

Svaki od dvanaest dijelova serijala pripada nekom mjestu na karti. Klikni na dio i vidjet ćeš koji korak karte obrađuje.

  1. 1Tokenizacija
  2. 2Embedding
  3. 3Transformerski blokovi
  4. 4Izlazni sloj
  5. 5Odabir

↩ token odabran u koraku 5 dodaje se rečenici i vraća na korak 1

2. dio Tokenizacija — Potanko obrađuje „1 Tokenizacija“ na karti (epizode 9–16).

Brojevi u kružićima su koraci karte. Traka na vrhu prikazuje svih 100 epizoda; bijeli okvir je ova (8. epizoda).

CHECK

Provjeri se

Tri pitanja o onome što smo danas naučili.

Q1U kojem su popisu koraci unutar LLM-a u pravom redoslijedu?

Q2Što radi „pažnja“ u transformerskom bloku?

Q3Model s 34 bloka piše odgovor od 100 tokena. Koliko se blokova ukupno prijeđe?

Tokeni, ID-ovi, vrijednosti embeddinga, vjerojatnosti i nastavci izmjereni su na stvarnom jezičnom modelu (Gemma 3 4B, 3.880.099.328 parametara) ili pročitani iz njegove datoteke. Rezultati su izračunati unaprijed, pa se ništa ne šalje na poslužitelj.