Javite se

Razumjeti LLM od nule#20

Što je embedding? Tablica ugrađivanja tokena

Do LLM-a stiže ID tokena, jedan broj. Dobiti iz njega vektor od 2560 brojeva vrlo je jednostavno: iz velike tablice izvučemo redak tog ID-a. Izvuci sam retke iz prave Gemmine tablice ugrađivanja i prepiši ih.

  • POINT 1Tablica ugrađivanja tokena ima po jedan redak za svaki token (262.144 redaka) i 2560 brojeva u svakom retku. Broj retka je ID tokena, a redak je vektor tog tokena (njegov embedding).
  • POINT 2Uzeti embedding znači samo izvući redak za ID. Množenje one-hot vektora s tablicom daje potpuno isti redak (provjereno s one-hot vektorom dugim 262.144: 671.088.640 množenja, svih 2560 brojeva isto).
  • POINT 3Brojevi tablice su parametri koje odredi učenje: u modelu Gemma 3 4B oko 17 % svih (671.088.640). Isti token dobije isti redak gdje god se pojavi u rečenici.

TRY 1

Izvuci redak iz tablice

3D slika je tablica ugrađivanja: retci koje ova stranica ima, poredani po ID-u (svaki „⋮” zamjenjuje tisuće drugih redaka). Klikni redak ili pritisni gumb ispod i taj se redak izvuče.

Izvučen „muž” = redak 154.860

−0,0239−0,0065−0,0033−0,01840,00870,03360,0087−0,0130… (2.560)

Traka prikazuje 2560 brojeva slijeva nadesno, svaki jednom bojom: plavo = plus, ružičasto = minus, tamno = 0.

broj retka (ID)154.860
brojeva u retku2.560
brojeva različitih od 02.492
duljina1,000
duljina × √2560 ≈ 50,650,6
jedan redak u ovoj datoteci2.100 Bformat Q6_K (kao brojevi od 4 bajta: 10.240 B)

Cijela tablica ima 262.144 redaka × 2.560 stupaca = 671.088.640 brojeva, oko 17,3 % od 3.880.099.328 parametara modela Gemma 3 4B. Gemma množi redak s √2560 prije prvog sloja (provjereno u izvornom kodu llama.cpp).

TRY 2

Prepiši brojeve

Prepiši prvih 8 brojeva izvučenog retka. Njegova duljina i kosinusna sličnost (18. epizoda) s drugim riječima ponovno se računaju iz svih 2560 brojeva.

Prepisuješ „muž” (redak 154.860)

duljina: bila 1,000 → sad 1,000

Kosinusna sličnost riječi „muž” s drugim retcima

žena0,37
auto0,01
automobil0,11
pas0,01
more−0,02
Moj0,04
je0,04
stari0,08

Pomakneš li broj jako, mijenja se blizina s drugim riječima.

TRY 3

Rečenica kroz tablicu

Pritišći tokene da ih poredaš: svaki se zamijeni retkom svog ID-a, a retci se slože u blok brojeva. Probaj isti token dvaput.

Pritišći tokene i složi rečenicu (do 8)

Mojautojestariauto

Blok od 5 redaka × 2.560 stupaca → u prvi sloj modela

Moj198669
auto6282
je2185
stari198114
auto6282

Isti token daje isti redak (svih 2560 brojeva isto). Izvlačenje iz tablice ne gleda ni okolne riječi ni mjesto u rečenici.

Redak koji si prepisao u TRY 2 ovdje se koristi prepisan.

TRY 4

One-hot × tablica = jedan redak

Na maloj tablici (prva 4 broja iz 4 prava retka) izračunaj one-hot × tablica redak po redak. Odaberi gdje je jedinica, pa pritisni „Sljedeći redak”.

Jedinica na
one-hot1.2.3.4.
muž0×0,00000,00000,00000,0000
žena1×0,0060−0,02090,0179−0,0079
auto0×0,00000,00000,00000,0000
automobil0×0,00000,00000,00000,0000
zbroj=0,0060−0,02090,0179−0,0079

Zbroj je sam redak za „žena”. Ostaje samo redak pomnožen s 1; retci pomnoženi s 0 nestali su.

Napravili smo to i u pravoj veličini: one-hot dug 262.144 puta cijela tablica 262.144 × 2.560 (671.088.640 množenja) dao je točno redak za „muž” izvučen ravno iz tablice, svih 2.560 brojeva. Zato model ne množi, nego redak izvuče izravno.

CHECK

Brza provjera

Tri pitanja o onome što smo naučili.

Q1Gdje je u Gemminoj tablici ugrađivanja embedding riječi „muž” (ID 154860)?

Q2U rečenici „Moj auto je stari auto”, kakvi su embeddingi dvaju „auto”?

Q3One-hot vektor (0, 1, 0, 0) puta tablica od 4 retka daje…

Retci su iz tablice ugrađivanja (token_embd.weight, Q6_K) datoteke Gemma 3 4B (Q4_K_M) (GGUF), pročitani s llama.cpp gguf-py (spremljeni × 10.000, zaokruženi na cijele brojeve). Duljine i kosinusne sličnosti računa tvoj preglednik. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…