Što je vektor? Kako LLM prikazuje riječi brojevima
ID tokena samo je broj. Da bismo prikazali značenje, nižemo mnogo brojeva: vektor. Pomiči strelice i vlastitim rukama provjeri zbrajanje, oduzimanje i duljinu.
- POINT 1Vektor je niz brojeva u određenom redoslijedu. Broj članova je dimenzija. (3, 2) i (2, 3) su različiti vektori.
- POINT 2Dva broja crtaju se kao strelica, sa smjerom i duljinom. Duljina: kvadriraj svaki broj, zbroji, izvadi drugi korijen (Pitagorin poučak).
- POINT 3Zbrajanje i oduzimanje rade se mjesto po mjesto. Zbrajanje stavlja strelice jednu za drugom; razlika je strelica od jednog vrha do drugog.
TRY 1
Povuci strelice: zbroj i razlika
Povuci vrhove (kuglice) plave strelice a i žute strelice b. Strelica odgovora i račun odmah se mijenjaju. Brojeve možeš i upisati.
1 + 2 = 3Duljina odgovora (kvadriraj, zbroji, korijen)√(4² + 3²) = √25 ≈ 5
Zbrajanje: početak b stavi na vrh a; odgovor ide od početka do mjesta gdje na kraju stigneš. Krenuvši s b stižeš na isto mjesto (blijedi paralelogram).
TRY 2
Tri broja: tri dimenzije
Tri broja su tri smjera: vodoravno, okomito i dubina. Mijenjaj ih kliznicima; strelica je dijagonala kutije. Duljina se računa kao u 2D.
Duljina vektora (2, 3, 6) je 7. S četiri ili više brojeva ne može se nacrtati, ali isti račun daje duljinu.
(2, 3, 6) ima duljinu točno 7 (4 + 9 + 36 = 49).
TRY 3
Vektori pravog modela
U modelu Gemma 3 4B svaki token ima svoj niz od 2560 brojeva. To su pravi brojevi, izvađeni iz datoteke modela koji koristimo u seriji.
2560 brojeva (plavo pozitivni, ružičasto negativni)
„pas” je vektor s 2560 dimenzija. Duljina mu je oko 0,99.
Takav niz postoji za svaki od 262.144 tokena: ukupno 671.088.640 brojeva (262.144 × 2560). Svi su parametri koje je odredilo učenje. Kako se redak izvadi za neki ID: 20. epizoda.
Usput, ID je samo redni broj. „pas” ima broj 21451; sljedeći, 21452, je „saved”, a prethodni, 21450, je „ prayer”. Bliski brojevi ne znače bliska značenja.
CHECK
Brza provjera
Provjeri naučeno uz tri pitanja.
Q1(3, 2) i (2, 3) su…
Q2Duljina vektora (3, 4) je…
Q3(4, 3) − (1, 2) je…
NEXT #18
Skalarni produkt i kosinusna sličnost: kako LLM mjeri sličnost značenja
Sljedeće: skalarni produkt i kosinusna sličnost, jedan broj koji kaže koliko dvije strelice pokazuju u istom smjeru.
Brojevi i ID-ovi u TRY 3 potječu iz tablice embeddinga (token_embd.weight) u datoteci modela Gemma 3 4B (Q4_K_M) (GGUF), pročitani llama.cpp-ovim gguf-py (prikazano na 4 decimale). Strelice u TRY 1 i 2 su brojevi koje sam biraš. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…