Javite se

Razumjeti LLM od nule#17

Što je vektor? Kako LLM prikazuje riječi brojevima

ID tokena samo je broj. Da bismo prikazali značenje, nižemo mnogo brojeva: vektor. Pomiči strelice i vlastitim rukama provjeri zbrajanje, oduzimanje i duljinu.

  • POINT 1Vektor je niz brojeva u određenom redoslijedu. Broj članova je dimenzija. (3, 2) i (2, 3) su različiti vektori.
  • POINT 2Dva broja crtaju se kao strelica, sa smjerom i duljinom. Duljina: kvadriraj svaki broj, zbroji, izvadi drugi korijen (Pitagorin poučak).
  • POINT 3Zbrajanje i oduzimanje rade se mjesto po mjesto. Zbrajanje stavlja strelice jednu za drugom; razlika je strelica od jednog vrha do drugog.

TRY 1

Povuci strelice: zbroj i razlika

Povuci vrhove (kuglice) plave strelice a i žute strelice b. Strelica odgovora i račun odmah se mijenjaju. Brojeve možeš i upisati.

Račun
ab
a(3, 1)duljina 3,16
b(1, 2)duljina 2,24
a + b(4, 3)duljina 5
Mjesto po mjesto3 + 1 = 4
1 + 2 = 3Duljina odgovora (kvadriraj, zbroji, korijen)√(4² + 3²) = √25 ≈ 5

Zbrajanje: početak b stavi na vrh a; odgovor ide od početka do mjesta gdje na kraju stigneš. Krenuvši s b stižeš na isto mjesto (blijedi paralelogram).

TRY 2

Tri broja: tri dimenzije

Tri broja su tri smjera: vodoravno, okomito i dubina. Mijenjaj ih kliznicima; strelica je dijagonala kutije. Duljina se računa kao u 2D.

vodoravno2
okomito3
dubina6
Duljina = kvadriraj svaki, zbroji, korijen√(2² + 3² + 6²) = √(4 + 9 + 36) = √49 ≈ 7

Duljina vektora (2, 3, 6) je 7. S četiri ili više brojeva ne može se nacrtati, ali isti račun daje duljinu.

(2, 3, 6) ima duljinu točno 7 (4 + 9 + 36 = 49).

TRY 3

Vektori pravog modela

U modelu Gemma 3 4B svaki token ima svoj niz od 2560 brojeva. To su pravi brojevi, izvađeni iz datoteke modela koji koristimo u seriji.

Token

2560 brojeva (plavo pozitivni, ružičasto negativni)

12/ 2560
0,01580,01000,03300,02150,00720,0029−0,0444−0,0115−0,00430,00000,02290,0072…
Duljina = kvadriraj svih 2560 brojeva, zbroji, korijen (računa se na ovoj stranici)√( 0,0158² + 0,0100² + … ) = √0,9763 ≈ 0,988

„pas” je vektor s 2560 dimenzija. Duljina mu je oko 0,99.

Takav niz postoji za svaki od 262.144 tokena: ukupno 671.088.640 brojeva (262.144 × 2560). Svi su parametri koje je odredilo učenje. Kako se redak izvadi za neki ID: 20. epizoda.

Usput, ID je samo redni broj. „pas” ima broj 21451; sljedeći, 21452, je „saved”, a prethodni, 21450, je „ prayer”. Bliski brojevi ne znače bliska značenja.

CHECK

Brza provjera

Provjeri naučeno uz tri pitanja.

Q1(3, 2) i (2, 3) su…

Q2Duljina vektora (3, 4) je…

Q3(4, 3) − (1, 2) je…

Brojevi i ID-ovi u TRY 3 potječu iz tablice embeddinga (token_embd.weight) u datoteci modela Gemma 3 4B (Q4_K_M) (GGUF), pročitani llama.cpp-ovim gguf-py (prikazano na 4 decimale). Strelice u TRY 1 i 2 su brojevi koje sam biraš. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…