Što je embedding? Tablica ugrađivanja tokena
Do LLM-a stiže ID tokena, jedan broj. Dobiti iz njega vektor od 2560 brojeva vrlo je jednostavno: iz velike tablice izvučemo redak tog ID-a. Izvuci sam retke iz prave Gemmine tablice ugrađivanja i prepiši ih.
- POINT 1Tablica ugrađivanja tokena ima po jedan redak za svaki token (262.144 redaka) i 2560 brojeva u svakom retku. Broj retka je ID tokena, a redak je vektor tog tokena (njegov embedding).
- POINT 2Uzeti embedding znači samo izvući redak za ID. Množenje one-hot vektora s tablicom daje potpuno isti redak (provjereno s one-hot vektorom dugim 262.144: 671.088.640 množenja, svih 2560 brojeva isto).
- POINT 3Brojevi tablice su parametri koje odredi učenje: u modelu Gemma 3 4B oko 17 % svih (671.088.640). Isti token dobije isti redak gdje god se pojavi u rečenici.
TRY 1
Izvuci redak iz tablice
3D slika je tablica ugrađivanja: retci koje ova stranica ima, poredani po ID-u (svaki „⋮” zamjenjuje tisuće drugih redaka). Klikni redak ili pritisni gumb ispod i taj se redak izvuče.
Izvučen „muž” = redak 154.860
Traka prikazuje 2560 brojeva slijeva nadesno, svaki jednom bojom: plavo = plus, ružičasto = minus, tamno = 0.
Cijela tablica ima 262.144 redaka × 2.560 stupaca = 671.088.640 brojeva, oko 17,3 % od 3.880.099.328 parametara modela Gemma 3 4B. Gemma množi redak s √2560 prije prvog sloja (provjereno u izvornom kodu llama.cpp).
TRY 2
Prepiši brojeve
Prepiši prvih 8 brojeva izvučenog retka. Njegova duljina i kosinusna sličnost (18. epizoda) s drugim riječima ponovno se računaju iz svih 2560 brojeva.
Prepisuješ „muž” (redak 154.860)
Kosinusna sličnost riječi „muž” s drugim retcima
Pomakneš li broj jako, mijenja se blizina s drugim riječima.
TRY 3
Rečenica kroz tablicu
Pritišći tokene da ih poredaš: svaki se zamijeni retkom svog ID-a, a retci se slože u blok brojeva. Probaj isti token dvaput.
Pritišći tokene i složi rečenicu (do 8)
Blok od 5 redaka × 2.560 stupaca → u prvi sloj modela
Isti token daje isti redak (svih 2560 brojeva isto). Izvlačenje iz tablice ne gleda ni okolne riječi ni mjesto u rečenici.
Redak koji si prepisao u TRY 2 ovdje se koristi prepisan.
TRY 4
One-hot × tablica = jedan redak
Na maloj tablici (prva 4 broja iz 4 prava retka) izračunaj one-hot × tablica redak po redak. Odaberi gdje je jedinica, pa pritisni „Sljedeći redak”.
| one-hot | 1. | 2. | 3. | 4. | ||
|---|---|---|---|---|---|---|
| muž | 0 | × | 0,0000 | 0,0000 | 0,0000 | 0,0000 |
| žena | 1 | × | 0,0060 | −0,0209 | 0,0179 | −0,0079 |
| auto | 0 | × | 0,0000 | 0,0000 | 0,0000 | 0,0000 |
| automobil | 0 | × | 0,0000 | 0,0000 | 0,0000 | 0,0000 |
| zbroj | = | 0,0060 | −0,0209 | 0,0179 | −0,0079 |
Zbroj je sam redak za „žena”. Ostaje samo redak pomnožen s 1; retci pomnoženi s 0 nestali su.
Napravili smo to i u pravoj veličini: one-hot dug 262.144 puta cijela tablica 262.144 × 2.560 (671.088.640 množenja) dao je točno redak za „muž” izvučen ravno iz tablice, svih 2.560 brojeva. Zato model ne množi, nego redak izvuče izravno.
CHECK
Brza provjera
Tri pitanja o onome što smo naučili.
Q1Gdje je u Gemminoj tablici ugrađivanja embedding riječi „muž” (ID 154860)?
Q2U rečenici „Moj auto je stari auto”, kakvi su embeddingi dvaju „auto”?
Q3One-hot vektor (0, 1, 0, 0) puta tablica od 4 retka daje…
NEXT #21
Prostor embeddinga riječi: zašto su slične riječi blizu
Sljedeće: prostor embeddinga riječi. Zašto se slične riječi skupljaju blizu, nacrtano kao karta.
Retci su iz tablice ugrađivanja (token_embd.weight, Q6_K) datoteke Gemma 3 4B (Q4_K_M) (GGUF), pročitani s llama.cpp gguf-py (spremljeni × 10.000, zaokruženi na cijele brojeve). Duljine i kosinusne sličnosti računa tvoj preglednik. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…