Javite se

Razumjeti LLM od nule#18

Skalarni produkt i kosinusna sličnost: kako LLM mjeri sličnost značenja

Koliko dva vektora riječi pokazuju u istom smjeru? Skalarni produkt i kosinusna sličnost odgovaraju jednim brojem. Pomiči strelice i gledaj račun, pa izmjeri koliko su blizu prave riječi modela.

  • POINT 1Skalarni produkt množi brojeve na istim mjestima i sve zbraja: (3, 1) · (1, 2) = 3 × 1 + 1 × 2 = 5. Gotovo isti smjer: plus. Pravi kut: 0. Suprotno: minus.
  • POINT 2U skalarnom produktu je i duljina strelica. Podijeljen s obje duljine postaje kosinusna sličnost, koja pokazuje samo smjer, od −1 do 1 (isti smjer 1, pravi kut 0, suprotno −1).
  • POINT 3U Gemmi 3 „muž” i „žena” daju oko 0,37. 98 % nasumičnih parova tokena je između −0,1 i 0,1, pa je to jasno blizu. Ali i suprotne riječi izađu blizu.

TRY 1

Pomakni dvije strelice i gledaj sličnost

Povuci vrhove (kuglice) plave strelice a i žute strelice b. Skalarni produkt, duljine, kosinusna sličnost i kut odmah se ponovno izračunaju. Gumbima okreneš b u isti smjer, pod pravi kut ili na suprotnu stranu.

Neka b bude
ab
|a|3,16
|b|2,24
skalarni produkt a · b5
kosinusna sličnost0,71kut 45°
Skalarni produkt = pomnoži mjesto po mjesto, zbroji(3, 1) · (1, 2) = 3 × 1 + 1 × 2 = 5Kosinusna sličnost = produkt ÷ (|a| × |b|)5 ÷ (3,16 × 2,24) = 5 ÷ 7,07 ≈ 0,71

Pozitivan produkt: obje pokazuju na istu stranu (kut je manji od 90°).

Pritisni „udvostruči a”: skalarni produkt se udvostruči, ali kosinusna sličnost ostaje ista. Ona gleda samo smjer.

TRY 2

Koliko su blizu prave Gemmine riječi?

U Gemmi 3 4B svaki token je strelica od 2560 brojeva. Odaberi dvije riječi i vidi kosinusnu sličnost njihovih strelica. Ispod su sve izmjerene riječi poredane po sličnosti s prvom riječi.

Biram
kosinusna sličnost0,37
skalarni produkt (zbroj 2560 umnožaka)0,364
duljine1,00 · 1,00

Kosinusna sličnost strelica s 2560 dimenzija za „muž” i „žena” je 0,37.

Kosinusna sličnost s „muž” (najbliže prvo). Ružičasta traka je od −0,1 do 0,1.

žena0,37
mlad0,18
jedan0,16
život0,16
velik0,15
četiri0,14
dva0,13
prvi0,13
nebo0,12
škola0,12
drugi0,12
automobil0,11
voda0,11
ljubav0,11
veliki0,10
novi0,10
Beograd0,09
mali0,09
vlak0,08
stari0,08
smrt0,08
Zagreb0,08
vino0,08
kino0,07
brat0,07
riba0,06
psi0,06
nov0,06
meso0,05
avion0,04
student0,03
dan0,03
sin0,02
Split0,02
film0,02
auto0,01
pas0,01
grad0,00
star−0,01
more−0,02

Od 199.999 nasumičnih parova tokena, 98 % imalo je kosinusnu sličnost između −0,1 i 0,1 (gotovo pravi kut). U 2560 dimenzija nepovezane strelice gotovo su pod pravim kutom.

Hrvatske riječi su tokeni s razmakom ispred („ pas”), oblik riječi unutar rečenice. Mnoge hrvatske riječi (npr. „mačka”) Gemma dijeli na više tokena, pa nemaju jedan redak tablice; ovdje su samo riječi koje su jedan token.

TRY 3

Najbliži od svih 262.144 tokena

Odaberi riječ i vidi 10 tokena iz cijelog vokabulara s najvećom kosinusnom sličnošću. Često su to drugi zapisi iste riječi ili isto značenje na drugom jeziku.

Tokeni najbliži riječi „muž” (od njih 262.144)

1. ␣mężczy0,50
2. ␣muškar0,45
3. ␣чолові0,45
4. ␣férfi0,44
5. ␣муж0,44
6. ␣мужчина0,43
7. ␣Männer0,42
8. ␣mannen0,41
9. ␣masculina0,40
10. 男性0,40

␣ označava token s razmakom ispred (riječ unutar rečenice ima taj oblik).

Neki tokeni Gemma uglavnom zna kao riječi drugih jezika: „pas” je blizu engleskog „pass”, a „sin” engleskog „sin”. Visoka kosinusna sličnost ne znači uvijek isto značenje.

CHECK

Kratka provjera

Provjeri što si naučio s tri pitanja.

Q1Skalarni produkt od (2, 1) i (−1, 2) je…

Q2Strelicu a udvostručimo. Kosinusna sličnost a i b…

Q3U Gemmi su „mlad” i „stari” blizu jer…

Brojevi u TRY 2 i 3 izračunati su iz tablice embeddinga (token_embd.weight) u datoteci modela Gemma 3 4B (Q4_K_M) (GGUF), pročitane s llama.cpp gguf-py. Strelice u TRY 1 su brojevi koje sam biraš. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…