Cijeli put kroz LLM: tokenizacija, transformer, generiranje
U golemoj funkciji koju zovemo LLM pet koraka stoji u nizu: izreži tekst, pretvori ga u nizove brojeva, obrađuj ih blok po blok, izračunaj vjerojatnosti, odaberi jedan token. Na ovoj stranici klikaš po koracima karte i gledaš stvarne brojeve u svakom dijelu.
- POINT 1U LLM-u je pet koraka: tokenizacija, embedding, transformerski blokovi, izlazni sloj, odabir.
- POINT 2Transformerski blok pažnjom prikuplja, a feed-forward slojem obrađuje. Ovaj model ima 34 bloka.
- POINT 3Za svaki token koji napiše model jednom prođe cijelu kartu. Karta je ujedno sadržaj svih 100 epizoda.
TRY 1
Klikaj po karti i zaviri u svaki dio
U LLM-u pet koraka stoji u nizu. Klikni na korak na karti i vidjet ćeš brojeve s kojima stvarni model (Gemma 3 4B) u tom dijelu doista radi.
↩ token odabran u koraku 5 dodaje se rečenici i vraća na korak 1
1. Tokenizacijareži
Kad se rečenica „Najviša planina u Hrvatskoj je“ izreže onako kako to radi model, dobije se 8 tokena. Zatim se svaki token zamijeni svojim stalnim brojem, ID-om tokena.
- Naj90936
- vi4176
- ša39765
- plan2731
- ina1630
- u559
- Hrvatskoj220575
- je2185
Broj iznad svakog stupca je ID tokena. ID je poput pločice s imenom: njegova veličina ništa ne znači (svi su stupci jednako visoki). Zapravo se na početak dodaje i oznaka početka <bos> (ID 2).
Detaljno u: 2. dio (epizode 9–16): Tokenizacija
Svi su brojevi izmjereni na stvarnom modelu ili pročitani iz datoteke modela (ukupno 3.880.099.328 parametara).
TRY 2
Jedan krug po karti za svaki token
Svaki pritisak redom prolazi pet koraka i određuje jedan token. On se dodaje rečenici i kreće novi krug. Broji krugove i koliko je blokova prijeđeno.
- 1Tokenizacija
- 2Embedding
- 3Transformerski blokovi
- 4Izlazni sloj
- 5Odabir
↩ token odabran u koraku 5 dodaje se rečenici i vraća na korak 1
Dosadašnji tekstNajviša planina u Hrvatskoj je
Krugova: 0Prijeđenih blokova: 34 × 0 = 0
- Din92%
- Sin4.0%
- ␣0.9%
- V0.6%
- plan0.5%
Još nema krugova. Pritisni gumb: ide se od koraka 1 do koraka 5 i bira se prvi kandidat, „Din“ (92%).
Ovo su rezultati stvarnog modela kad se svaki put odabere prvi kandidat (izmjereno je osam krugova). Dok piše, ne mijenja se nijedan parametar.
TRY 3
Karta je sadržaj svih 100 epizoda
Svaki od dvanaest dijelova serijala pripada nekom mjestu na karti. Klikni na dio i vidjet ćeš koji korak karte obrađuje.
- 1Tokenizacija
- 2Embedding
- 3Transformerski blokovi
- 4Izlazni sloj
- 5Odabir
↩ token odabran u koraku 5 dodaje se rečenici i vraća na korak 1
2. dio Tokenizacija — Potanko obrađuje „1 Tokenizacija“ na karti (epizode 9–16).
Brojevi u kružićima su koraci karte. Traka na vrhu prikazuje svih 100 epizoda; bijeli okvir je ova (8. epizoda).
CHECK
Provjeri se
Tri pitanja o onome što smo danas naučili.
Q1U kojem su popisu koraci unutar LLM-a u pravom redoslijedu?
Q2Što radi „pažnja“ u transformerskom bloku?
Q3Model s 34 bloka piše odgovor od 100 tokena. Koliko se blokova ukupno prijeđe?
NEXT #9
Što je tokenizacija? Znakovi, riječi i podriječi
Sljedeći put: prvi korak na karti, tokenizacija. Znakovi, riječi, podriječi: uspoređujemo jedinice na koje se rečenica može rezati.
Tokeni, ID-ovi, vrijednosti embeddinga, vjerojatnosti i nastavci izmjereni su na stvarnom jezičnom modelu (Gemma 3 4B, 3.880.099.328 parametara) ili pročitani iz njegove datoteke. Rezultati su izračunati unaprijed, pa se ništa ne šalje na poslužitelj.