Skalarni produkt i kosinusna sličnost: kako LLM mjeri sličnost značenja
Koliko dva vektora riječi pokazuju u istom smjeru? Skalarni produkt i kosinusna sličnost odgovaraju jednim brojem. Pomiči strelice i gledaj račun, pa izmjeri koliko su blizu prave riječi modela.
- POINT 1Skalarni produkt množi brojeve na istim mjestima i sve zbraja: (3, 1) · (1, 2) = 3 × 1 + 1 × 2 = 5. Gotovo isti smjer: plus. Pravi kut: 0. Suprotno: minus.
- POINT 2U skalarnom produktu je i duljina strelica. Podijeljen s obje duljine postaje kosinusna sličnost, koja pokazuje samo smjer, od −1 do 1 (isti smjer 1, pravi kut 0, suprotno −1).
- POINT 3U Gemmi 3 „muž” i „žena” daju oko 0,37. 98 % nasumičnih parova tokena je između −0,1 i 0,1, pa je to jasno blizu. Ali i suprotne riječi izađu blizu.
TRY 1
Pomakni dvije strelice i gledaj sličnost
Povuci vrhove (kuglice) plave strelice a i žute strelice b. Skalarni produkt, duljine, kosinusna sličnost i kut odmah se ponovno izračunaju. Gumbima okreneš b u isti smjer, pod pravi kut ili na suprotnu stranu.
Pozitivan produkt: obje pokazuju na istu stranu (kut je manji od 90°).
Pritisni „udvostruči a”: skalarni produkt se udvostruči, ali kosinusna sličnost ostaje ista. Ona gleda samo smjer.
TRY 2
Koliko su blizu prave Gemmine riječi?
U Gemmi 3 4B svaki token je strelica od 2560 brojeva. Odaberi dvije riječi i vidi kosinusnu sličnost njihovih strelica. Ispod su sve izmjerene riječi poredane po sličnosti s prvom riječi.
Kosinusna sličnost strelica s 2560 dimenzija za „muž” i „žena” je 0,37.
Kosinusna sličnost s „muž” (najbliže prvo). Ružičasta traka je od −0,1 do 0,1.
Od 199.999 nasumičnih parova tokena, 98 % imalo je kosinusnu sličnost između −0,1 i 0,1 (gotovo pravi kut). U 2560 dimenzija nepovezane strelice gotovo su pod pravim kutom.
Hrvatske riječi su tokeni s razmakom ispred („ pas”), oblik riječi unutar rečenice. Mnoge hrvatske riječi (npr. „mačka”) Gemma dijeli na više tokena, pa nemaju jedan redak tablice; ovdje su samo riječi koje su jedan token.
TRY 3
Najbliži od svih 262.144 tokena
Odaberi riječ i vidi 10 tokena iz cijelog vokabulara s najvećom kosinusnom sličnošću. Često su to drugi zapisi iste riječi ili isto značenje na drugom jeziku.
Tokeni najbliži riječi „muž” (od njih 262.144)
␣ označava token s razmakom ispred (riječ unutar rečenice ima taj oblik).
Neki tokeni Gemma uglavnom zna kao riječi drugih jezika: „pas” je blizu engleskog „pass”, a „sin” engleskog „sin”. Visoka kosinusna sličnost ne znači uvijek isto značenje.
CHECK
Kratka provjera
Provjeri što si naučio s tri pitanja.
Q1Skalarni produkt od (2, 1) i (−1, 2) je…
Q2Strelicu a udvostručimo. Kosinusna sličnost a i b…
Q3U Gemmi su „mlad” i „stari” blizu jer…
NEXT #19
One-hot vektori i njihove granice: zašto LLM treba embeddinge
Sljedeće: one-hot vektori, s jednom jedinicom za svaku riječ, i zašto tada svake dvije riječi imaju kosinusnu sličnost 0.
Brojevi u TRY 2 i 3 izračunati su iz tablice embeddinga (token_embd.weight) u datoteci modela Gemma 3 4B (Q4_K_M) (GGUF), pročitane s llama.cpp gguf-py. Strelice u TRY 1 su brojevi koje sam biraš. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…