Javite se

Razumjeti LLM od nule#19

One-hot vektori i njihove granice: zašto LLM treba embeddinge

Kad riječima samo damo brojeve (ID-ove), uvuče se besmislena „blizina” između brojeva. One-hot vektor to izbjegava. Složi svoj rječnik, pretvori ga u one-hot vektore i izmjeri udaljenosti. Vidjet ćeš i zašto LLM treba embeddinge.

  • POINT 1One-hot vektor poreda po jednu kutiju za svaku riječ rječnika, u kutiju svoje riječi stavi 1, a u sve ostale 0. S četiri riječi „muž” = (1, 0, 0, 0). Vektor je dug koliko je rječnik velik.
  • POINT 2Svake dvije različite riječi imaju skalarni produkt 0 (kosinusnu sličnost 0) i udaljenost √2 ≈ 1,41. Sve jednako daleko, pa ne može reći da su „muž” i „žena” blizu.
  • POINT 3Gemmin rječnik ima 262.144 tokena, pa je one-hot vektor dug 262.144 (102,4 puta dulji od Gemminih vektora riječi s 2560 brojeva). Zato trebaju kratki embeddingi puni brojeva.

TRY 1

Složi rječnik i pretvori ga u one-hot

Dodirni riječi ispod ili upiši svoje da ih staviš u rječnik (najviše 8). Svaka nova riječ doda jednu kutiju, a svaki vektor i dalje ima samo jednu jedinicu. 3D slika pokazuje vrhove strelica prve četiri riječi i udaljenosti između njih.

4 riječi → vektori s 4 dimenzija

kutija 1kutija 2kutija 3kutija 4
muž1000
žena0100
auto0010
automobil0001

Dodaj riječ

4 riječi: spojeni vrhovi daju pravilni tetraedar (svih šest bridova √2). Vrhovi su u 4D; ovo je njihov crtež u 3D.

TRY 2

Izmjeri udaljenost dviju riječi

Odaberi dvije riječi iz rječnika: vidiš oduzimanje njihovih one-hot vektora, zbroj kvadrata, udaljenost i skalarni produkt. Provjeri da svaki par daje isto. Pokraj su vrijednosti izmjerene pravim vektorima Gemme 3.

Biraš
Oduzimanje (strelica od vrha do vrha)(1, 0, 0, 0) − (0, 1, 0, 0) = (1, −1, 0, 0)Kvadriraj i zbroji1 + 1 + 0 + 0 = 2Udaljenost = korijen√2 ≈ 1,41

one-hot

udaljenost1,41
skalarni produkt0
kosinusna sličnost0

pravi Gemmini vektori

udaljenost1,12
kosinusna sličnost0,37

Kod one-hot su „muž” i „žena” √2 ≈ 1,41 daleko. S Gemminim vektorima: 1,12.

Udaljenost od „muž” do ostalih riječi rječnika

žena1,41
1,12
auto1,41
1,40
automobil1,41
1,33
one-hotpravi Gemmini vektori√2

Gemmini vektori svi su duljine oko 1, pa su riječi koje nemaju puno veze blizu √2 ≈ 1,41. Što su sličnije, to su bliže od toga.

TRY 3

Veličine pravog rječnika

Mijenjaj veličinu rječnika. Gledaj duljinu one-hot vektora, broj nula, njegovu veličinu uz 4 bajta po broju i usporedbu s Gemminim vektorima riječi (2560 brojeva).

duljina vektora21
nule20
veličina jednog tokena (4 bajta × duljina)84 B≈ 84 B
u odnosu na 2560kraće od 2560
parovi na udaljenosti √2210
one-hot: 21
Gemma: 2.560

U pravom Gemminom vektoru riječi „muž” od 2560 brojeva njih 2492 nije 0. U one-hot vektoru samo jedan nije 0.

CHECK

Brza provjera

Tri pitanja o onome što smo otkrili.

Q1S rječnikom muž, žena, auto, automobil: koji je one-hot vektor riječi „auto”?

Q2Kod one-hot: kako se odnose udaljenosti muž–žena i muž–auto?

Q3One-hot vektori za Gemmin rječnik (262.144 tokena): koliko brojeva ima svaki?

Gemmine vrijednosti u TRY 2 izračunate su iz tablice ugrađivanja (token_embd.weight) datoteke Gemma 3 4B (Q4_K_M) (GGUF), pročitane s gguf-py iz llama.cpp-a (mjerenja iz 18. epizode). One-hot vrijednosti računaju se na licu mjesta. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…