Prostor embeddinga riječi: zašto su slične riječi blizu
Jedan redak tablice ugrađivanja je 2560 brojeva: jedna točka u prostoru s 2560 dimenzija. Te točke nisu razbacane nasumce. Blizu riječi „cat“ nalazi se „dog“. Upisuj riječi u kartu napravljenu od pravih embeddinga modela Gemma 3 i uvjeri se.
- POINT 1Redak tablice ugrađivanja je točka u prostoru s 2560 dimenzija. Blizinu mjerimo kosinusnom sličnošću. „cat“ i „dog“: 0,37. Prosjek svih parova među 5000 riječi je 0,05, pa je taj par vrlo blizak.
- POINT 2Nitko ih nije posložio. Učenje pogađanja nastavka teksta malo-pomalo je povlačilo na istu stranu riječi koje se koriste na sličnim mjestima.
- POINT 3Karta u 2 dimenzije je poput igre sjena. Od 10 doista najbližih riječi, u prosjeku je samo oko 27 % i na karti među 10 najbližih. Prava blizina mjeri se u 2560 dimenzija.
TRY 1
Upiši riječ: pogledaj joj mjesto na karti i susjede
5000 riječi posloženo je kao točke. Upiši riječ (ili klikni točku): pogled doleti do nje, a crte krenu prema 10 njoj doista najbližih riječi.
„cat“ je ovdje među 5.000 riječi (skupina boje 6). Ispod je 10 riječi s najvećom kosinusnom sličnošću.
Zeleno = susjed i na karti (među 10 najbližih) / crveno = na karti daleko. Klikni riječ da prijeđeš na nju.
Riječi su 5.000 čestih engleskih riječi koje su jedan token rječnika od 262.144 tokena (mala slova, s razmakom ispred). Blizina je kosinusna sličnost redaka tablice ugrađivanja (svaki ima 2.560 brojeva). Položaji dolaze iz metode t-SNE, koja točke presloži u 2 ili 3 dimenzije tako da bliske riječi ostanu što bliže. Zašto engleske riječi? Većinu hrvatskih riječi model reže na više tokena: od 1000 najčešćih hrvatskih riječi samo 445 ima vlastiti token (kod engleskih 996).
TRY 2
Koliko se karti smije vjerovati?
Za riječ odabranu u TRY 1 ovdje su jedna uz drugu „10 doista najbližih riječi“ i „10 najbližih točaka na karti“. Koliko je riječi u obje skupine?
Odabrana riječ: „cat“
10 doista najbližih riječi (kosinusna sličnost u 2.560 dimenzija)
- cats
- kitty
- dog
- pet
- kate
- puppy
- dogs
- rabbit
- fox
- horse
10 najbližih na karti
- dog
- pet
- rat
- bug
- animal
- bird
- bee
- horse
- bull
- bear
U obje skupine je 3 od 10 riječi.
U prosjeku za 5.000 riječi, na karti u 2D ostane samo oko 27 %, a u oblaku u 3D oko 29 % (običan PCA, koji samo odabere osi, daje oko 2 %). Kad se 2.560 dimenzija stisne u 2, blizina se ne može potpuno sačuvati. Karta služi za pogled na cjelinu; prava blizina mjeri se u 2.560 dimenzija.
TRY 3
Potraži otoke
Gdje su na karti riječi iste vrste? Pritisni gumb i te će riječi zasvijetliti na karti gore (TRY 1).
Pritisni gumb i ta će skupina riječi zasvijetliti na karti gore.
Boje točaka su 12 skupina sličnih redaka. Prve riječi svake skupine:
Skupine boja napravljene su metodom k-means u svih 2.560 dimenzija. U njima su riječi koje se slično koriste, ne samo po značenju: oblici na -ing, prošli oblici, osobna imena. Popise riječi za gumbe odabrali smo mi.
CHECK
Provjeri se
Tri pitanja o onome što smo danas naučili.
Q1U embeddingima modela Gemma 3 kosinusna sličnost riječi „cat“ i „dog“ je 0,37. Koliki je prosjek svih parova među 5000 riječi?
Q2Zašto slične riječi stoje blizu?
Q3Dvije su riječi na karti u 2D daleko jedna od druge. Što je točno?
NEXT #22
Vektori riječi: kralj − muškarac + žena = kraljica (word2vec)
Sljedeći put: zbrajanje vektora riječi. Kralj − muškarac + žena = kraljica. Značenje ne nosi samo položaj točaka, nego i smjer od jedne točke do druge.
Blizina, skupine boja i položaji izračunati su iz tablice ugrađivanja (token_embd.weight) datoteke modela Gemma 3 4B (Q4_K_M) (GGUF), pročitane alatom gguf-py iz llama.cpp (5.000 riječi, za svaku je spremljeno 10 najbližih). Poredak na karti računa se u tvom pregledniku. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…