Vektori riječi: kralj − muškarac + žena = kraljica (word2vec)
Riječ je 2560 brojeva. A brojeve možemo oduzimati i zbrajati. Ako izračunamo „king − man + woman“, dobijemo li stvarno „queen“? Napiši vlastite formule i provjeri ih na pravim brojevima iz Gemmine tablice ugrađivanja. Koristimo engleske riječi, jer „kralj“ i „kraljica“ u ovom modelu nisu jedan token.
- POINT 1Točke riječi možemo oduzimati i zbrajati. Razlika dviju točaka je strelica. Strelicu „woman − man“ dodamo riječi „king“ i tražimo riječ najbližu točki u koju stignemo.
- POINT 2Najbliža je i dalje „king“, riječ koju smo sami upisali (0,68). Kad izbacimo upisane riječi, prva je „queen“ (0,52). Samoj riječi „king“ bliža je „kings“ nego „queen“; računanje gurne „queen“ ispred nje.
- POINT 3Nije točno. Izračunata točka i „queen“ daleko su jedna od druge, a kut između dviju strelica je 77 stupnjeva. Strelice su tek malo usklađene. Sa suprotnostima i brojevima ne uspijeva.
TRY 1
Napiši vlastitu formulu i provjeri rezultat
Poveži riječi znakovima „−“ i „+“ u formulu (na primjer: king − man + woman). Računa se odmah, a riječi najbliže izračunatoj točki ispisuju se redom, od najbliže.
Pogledaj 560 riječi koje možeš koristiti — klikni riječ da je dodaš
Izračunato: „king − man + woman“. Najbliža je i dalje „king“, riječ iz formule (0,68). Kad izbacimo upisane riječi, prva je „queen“ (kosinusna sličnost 0,52, udaljenost od izračunate točke 1,25).
Zašto baš taj poredak? Blizina izračunatoj točki gotovo je točno: blizina riječi „king“ + blizina riječi „woman“ − blizina riječi „man“. Ovo je račun za prve tri riječi.
queen
+ king0,568
+ woman0,271
− man0,100
ukupno0,739
kings
+ king0,709
+ woman0,066
− man0,085
ukupno0,690
women
+ king0,101
+ woman0,717
− man0,176
ukupno0,642
Riječi su 560 od 5.000 riječi iz videa (česte riječi koje su jedan token, iz rječnika od 262.144 tokena). Iz kosinusne sličnosti svakog para redaka (svaki ima 2.560 brojeva) i duljine svakog retka točno se računa blizina bilo kojeg zbroja ili razlike bilo kojoj riječi. Budući da se pretražuje 560 riječi, mjesta od drugog nadalje mogu se razlikovati od videa, koji pretražuje 5.000. Prostorna slika je trodimenzionalni prostor koji razapinje tih pet točaka, prikazan bez izmjena. Riječi su engleske: većinu hrvatskih riječi model reže na više tokena.
TRY 2
Prebroji formule koje uspijevaju i one koje ne uspijevaju
Uzmemo parove s istim odnosom (muško i žensko, država i glavni grad …) i od dva para složimo jednu formulu. Ako „sister − brother + father“ da „mother“, formula je točna. Jedna lampica je jedna formula. Klikni lampicu i njezina formula prelazi u TRY 1.
12 parova: man → woman, king → queen, boy → girl, father → mother, brother → sister, son → daughter, uncle → aunt, husband → wife, prince → princess, actor → actress, grandfather → grandmother, nephew → niece
Formula točna (oduzmi, pa dodaj)
124 / 13294 %Bez računanja (samo najbliža riječ)
66 / 13250 %Klikni lampicu da vidiš njezinu formulu i rezultat (zeleno = točno, crveno = krivo).
Točno i krivo dolaze iz iste pretrage kao u videu: najbliža od 5.000 riječi, bez triju upisanih riječi. „Bez računanja“ jednostavno uzima riječ najbližu riječi koju dodajemo. Razlika između to dvoje ono je što oduzimanje i zbrajanje stvarno donose.
TRY 3
Izmjeri kut između strelica
Odaberi dva para: mjeri se kut između njihovih strelica (od prve riječi do druge). 0 stupnjeva znači isti smjer, 90 stupnjeva nepovezano. Zelene točke su sve kombinacije unutar te vrste parova. Siva traka je raspon u koji padaju strelice između nasumičnih riječi.
Kut između strelica „man → woman“ i „king → queen“ je 77 stupnjeva (kosinusna sličnost 0,22).
Za „muško → žensko“, prosjek 66 parova strelica je 76 stupnjeva. Njih 66 od 66 je izvan nasumičnog raspona (84 do 96 stupnjeva).
Za strelice između nasumce odabranih riječi, 99 od 100 parova pada između 84 i 96 stupnjeva (izmjereno za video). Nijedne strelice nisu uredno paralelne. Mali nagib ono je što presudi kad se rezultat bira među mnogo riječi.
CHECK
Provjeri se
Tri pitanja o onome što je ova epizoda pokazala.
Q1U Gemminim ugrađivanjima, koja je od 5000 riječi najbliža točki izračunatoj formulom „king − man + woman“?
Q2Strelica od „man“ do „woman“ i strelica od „king“ do „queen“: koliko su usklađene?
Q3Što se dogodi kad „four − one + two“ izračunamo točkama riječi?
NEXT #23
Što je matrica? Linearne transformacije u srcu LLM-a
Sljedeći put: matrice. Vektore okrećemo, rastežemo i spljoštavamo — linearne transformacije u srcu svakog LLM-a.
Blizina riječi izračunata je iz tablice ugrađivanja (token_embd.weight) datoteke modela Gemma 3 4B (Q4_K_M) (GGUF), pročitane alatom gguf-py iz llama.cpp-a. Formule se računaju u tvom pregledniku, iz kosinusne sličnosti svakog para među 560 riječi i duljine svakog retka. Brojevi pogodaka i nasumični raspon vrijednosti su izmjerene na 5.000 riječi za video. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…