One-hot vektori i njihove granice: zašto LLM treba embeddinge
Kad riječima samo damo brojeve (ID-ove), uvuče se besmislena „blizina” između brojeva. One-hot vektor to izbjegava. Složi svoj rječnik, pretvori ga u one-hot vektore i izmjeri udaljenosti. Vidjet ćeš i zašto LLM treba embeddinge.
- POINT 1One-hot vektor poreda po jednu kutiju za svaku riječ rječnika, u kutiju svoje riječi stavi 1, a u sve ostale 0. S četiri riječi „muž” = (1, 0, 0, 0). Vektor je dug koliko je rječnik velik.
- POINT 2Svake dvije različite riječi imaju skalarni produkt 0 (kosinusnu sličnost 0) i udaljenost √2 ≈ 1,41. Sve jednako daleko, pa ne može reći da su „muž” i „žena” blizu.
- POINT 3Gemmin rječnik ima 262.144 tokena, pa je one-hot vektor dug 262.144 (102,4 puta dulji od Gemminih vektora riječi s 2560 brojeva). Zato trebaju kratki embeddingi puni brojeva.
TRY 1
Složi rječnik i pretvori ga u one-hot
Dodirni riječi ispod ili upiši svoje da ih staviš u rječnik (najviše 8). Svaka nova riječ doda jednu kutiju, a svaki vektor i dalje ima samo jednu jedinicu. 3D slika pokazuje vrhove strelica prve četiri riječi i udaljenosti između njih.
4 riječi → vektori s 4 dimenzija
| kutija 1 | kutija 2 | kutija 3 | kutija 4 | ||
|---|---|---|---|---|---|
| muž | 1 | 0 | 0 | 0 | |
| žena | 0 | 1 | 0 | 0 | |
| auto | 0 | 0 | 1 | 0 | |
| automobil | 0 | 0 | 0 | 1 |
Dodaj riječ
4 riječi: spojeni vrhovi daju pravilni tetraedar (svih šest bridova √2). Vrhovi su u 4D; ovo je njihov crtež u 3D.
TRY 2
Izmjeri udaljenost dviju riječi
Odaberi dvije riječi iz rječnika: vidiš oduzimanje njihovih one-hot vektora, zbroj kvadrata, udaljenost i skalarni produkt. Provjeri da svaki par daje isto. Pokraj su vrijednosti izmjerene pravim vektorima Gemme 3.
one-hot
pravi Gemmini vektori
Kod one-hot su „muž” i „žena” √2 ≈ 1,41 daleko. S Gemminim vektorima: 1,12.
Udaljenost od „muž” do ostalih riječi rječnika
Gemmini vektori svi su duljine oko 1, pa su riječi koje nemaju puno veze blizu √2 ≈ 1,41. Što su sličnije, to su bliže od toga.
TRY 3
Veličine pravog rječnika
Mijenjaj veličinu rječnika. Gledaj duljinu one-hot vektora, broj nula, njegovu veličinu uz 4 bajta po broju i usporedbu s Gemminim vektorima riječi (2560 brojeva).
U pravom Gemminom vektoru riječi „muž” od 2560 brojeva njih 2492 nije 0. U one-hot vektoru samo jedan nije 0.
CHECK
Brza provjera
Tri pitanja o onome što smo otkrili.
Q1S rječnikom muž, žena, auto, automobil: koji je one-hot vektor riječi „auto”?
Q2Kod one-hot: kako se odnose udaljenosti muž–žena i muž–auto?
Q3One-hot vektori za Gemmin rječnik (262.144 tokena): koliko brojeva ima svaki?
NEXT #20
Što je embedding? Tablica ugrađivanja tokena
Sljedeće: tablica ugrađivanja tokena. Tablica s jednim retkom od 2560 brojeva za svaki token, i kako ID izvuče svoj redak.
Gemmine vrijednosti u TRY 2 izračunate su iz tablice ugrađivanja (token_embd.weight) datoteke Gemma 3 4B (Q4_K_M) (GGUF), pročitane s gguf-py iz llama.cpp-a (mjerenja iz 18. epizode). One-hot vrijednosti računaju se na licu mjesta. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…