Javite se

Razumjeti LLM od nule#22

Vektori riječi: kralj − muškarac + žena = kraljica (word2vec)

Riječ je 2560 brojeva. A brojeve možemo oduzimati i zbrajati. Ako izračunamo „king − man + woman“, dobijemo li stvarno „queen“? Napiši vlastite formule i provjeri ih na pravim brojevima iz Gemmine tablice ugrađivanja. Koristimo engleske riječi, jer „kralj“ i „kraljica“ u ovom modelu nisu jedan token.

  • POINT 1Točke riječi možemo oduzimati i zbrajati. Razlika dviju točaka je strelica. Strelicu „woman − man“ dodamo riječi „king“ i tražimo riječ najbližu točki u koju stignemo.
  • POINT 2Najbliža je i dalje „king“, riječ koju smo sami upisali (0,68). Kad izbacimo upisane riječi, prva je „queen“ (0,52). Samoj riječi „king“ bliža je „kings“ nego „queen“; računanje gurne „queen“ ispred nje.
  • POINT 3Nije točno. Izračunata točka i „queen“ daleko su jedna od druge, a kut između dviju strelica je 77 stupnjeva. Strelice su tek malo usklađene. Sa suprotnostima i brojevima ne uspijeva.

TRY 1

Napiši vlastitu formulu i provjeri rezultat

Poveži riječi znakovima „−“ i „+“ u formulu (na primjer: king − man + woman). Računa se odmah, a riječi najbliže izračunatoj točki ispisuju se redom, od najbliže.

Pogledaj 560 riječi koje možeš koristiti — klikni riječ da je dodaš

Izračunato: „king − man + woman“. Najbliža je i dalje „king“, riječ iz formule (0,68). Kad izbacimo upisane riječi, prva je „queen“ (kosinusna sličnost 0,52, udaljenost od izračunate točke 1,25).

1queen0,52
2kings0,49
3women0,46
4princess0,34
5female0,34
6donna0,33
7emperor0,31
8wife0,28

Zašto baš taj poredak? Blizina izračunatoj točki gotovo je točno: blizina riječi „king“ + blizina riječi „woman“ − blizina riječi „man“. Ovo je račun za prve tri riječi.

queen

+ king0,568

+ woman0,271

− man0,100

ukupno0,739

kings

+ king0,709

+ woman0,066

− man0,085

ukupno0,690

women

+ king0,101

+ woman0,717

− man0,176

ukupno0,642

Riječi su 560 od 5.000 riječi iz videa (česte riječi koje su jedan token, iz rječnika od 262.144 tokena). Iz kosinusne sličnosti svakog para redaka (svaki ima 2.560 brojeva) i duljine svakog retka točno se računa blizina bilo kojeg zbroja ili razlike bilo kojoj riječi. Budući da se pretražuje 560 riječi, mjesta od drugog nadalje mogu se razlikovati od videa, koji pretražuje 5.000. Prostorna slika je trodimenzionalni prostor koji razapinje tih pet točaka, prikazan bez izmjena. Riječi su engleske: većinu hrvatskih riječi model reže na više tokena.

TRY 2

Prebroji formule koje uspijevaju i one koje ne uspijevaju

Uzmemo parove s istim odnosom (muško i žensko, država i glavni grad …) i od dva para složimo jednu formulu. Ako „sister − brother + father“ da „mother“, formula je točna. Jedna lampica je jedna formula. Klikni lampicu i njezina formula prelazi u TRY 1.

Vrsta para

12 parova: man → woman, king → queen, boy → girl, father → mother, brother → sister, son → daughter, uncle → aunt, husband → wife, prince → princess, actor → actress, grandfather → grandmother, nephew → niece

Formula točna (oduzmi, pa dodaj)

124 / 13294 %

Bez računanja (samo najbliža riječ)

66 / 13250 %

Klikni lampicu da vidiš njezinu formulu i rezultat (zeleno = točno, crveno = krivo).

Točno i krivo dolaze iz iste pretrage kao u videu: najbliža od 5.000 riječi, bez triju upisanih riječi. „Bez računanja“ jednostavno uzima riječ najbližu riječi koju dodajemo. Razlika između to dvoje ono je što oduzimanje i zbrajanje stvarno donose.

TRY 3

Izmjeri kut između strelica

Odaberi dva para: mjeri se kut između njihovih strelica (od prve riječi do druge). 0 stupnjeva znači isti smjer, 90 stupnjeva nepovezano. Zelene točke su sve kombinacije unutar te vrste parova. Siva traka je raspon u koji padaju strelice između nasumičnih riječi.

Vrsta para
Prva strelica
Druga strelica
0°30°60°90°120°150°180°77°

Kut između strelica „man → woman“ i „king → queen“ je 77 stupnjeva (kosinusna sličnost 0,22).

Za „muško → žensko“, prosjek 66 parova strelica je 76 stupnjeva. Njih 66 od 66 je izvan nasumičnog raspona (84 do 96 stupnjeva).

Za strelice između nasumce odabranih riječi, 99 od 100 parova pada između 84 i 96 stupnjeva (izmjereno za video). Nijedne strelice nisu uredno paralelne. Mali nagib ono je što presudi kad se rezultat bira među mnogo riječi.

CHECK

Provjeri se

Tri pitanja o onome što je ova epizoda pokazala.

Q1U Gemminim ugrađivanjima, koja je od 5000 riječi najbliža točki izračunatoj formulom „king − man + woman“?

Q2Strelica od „man“ do „woman“ i strelica od „king“ do „queen“: koliko su usklađene?

Q3Što se dogodi kad „four − one + two“ izračunamo točkama riječi?

Blizina riječi izračunata je iz tablice ugrađivanja (token_embd.weight) datoteke modela Gemma 3 4B (Q4_K_M) (GGUF), pročitane alatom gguf-py iz llama.cpp-a. Formule se računaju u tvom pregledniku, iz kosinusne sličnosti svakog para među 560 riječi i duljine svakog retka. Brojevi pogodaka i nasumični raspon vrijednosti su izmjerene na 5.000 riječi za video. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…