Javite se

Razumjeti LLM od nule#21

Prostor embeddinga riječi: zašto su slične riječi blizu

Jedan redak tablice ugrađivanja je 2560 brojeva: jedna točka u prostoru s 2560 dimenzija. Te točke nisu razbacane nasumce. Blizu riječi „cat“ nalazi se „dog“. Upisuj riječi u kartu napravljenu od pravih embeddinga modela Gemma 3 i uvjeri se.

  • POINT 1Redak tablice ugrađivanja je točka u prostoru s 2560 dimenzija. Blizinu mjerimo kosinusnom sličnošću. „cat“ i „dog“: 0,37. Prosjek svih parova među 5000 riječi je 0,05, pa je taj par vrlo blizak.
  • POINT 2Nitko ih nije posložio. Učenje pogađanja nastavka teksta malo-pomalo je povlačilo na istu stranu riječi koje se koriste na sličnim mjestima.
  • POINT 3Karta u 2 dimenzije je poput igre sjena. Od 10 doista najbližih riječi, u prosjeku je samo oko 27 % i na karti među 10 najbližih. Prava blizina mjeri se u 2560 dimenzija.

TRY 1

Upiši riječ: pogledaj joj mjesto na karti i susjede

5000 riječi posloženo je kao točke. Upiši riječ (ili klikni točku): pogled doleti do nje, a crte krenu prema 10 njoj doista najbližih riječi.

Riječi za probu

„cat“ je ovdje među 5.000 riječi (skupina boje 6). Ispod je 10 riječi s najvećom kosinusnom sličnošću.

10,72na karti 102.
20,51na karti 46.
30,37i na karti 1.
40,28i na karti 2.
50,26na karti 1.825.
60,24na karti 42.
70,24na karti 92.
80,23na karti 20.
90,21na karti 11.
100,21i na karti 8.

Zeleno = susjed i na karti (među 10 najbližih) / crveno = na karti daleko. Klikni riječ da prijeđeš na nju.

Riječi su 5.000 čestih engleskih riječi koje su jedan token rječnika od 262.144 tokena (mala slova, s razmakom ispred). Blizina je kosinusna sličnost redaka tablice ugrađivanja (svaki ima 2.560 brojeva). Položaji dolaze iz metode t-SNE, koja točke presloži u 2 ili 3 dimenzije tako da bliske riječi ostanu što bliže. Zašto engleske riječi? Većinu hrvatskih riječi model reže na više tokena: od 1000 najčešćih hrvatskih riječi samo 445 ima vlastiti token (kod engleskih 996).

TRY 2

Koliko se karti smije vjerovati?

Za riječ odabranu u TRY 1 ovdje su jedna uz drugu „10 doista najbližih riječi“ i „10 najbližih točaka na karti“. Koliko je riječi u obje skupine?

Odabrana riječ: „cat“

10 doista najbližih riječi (kosinusna sličnost u 2.560 dimenzija)

  1. cats
  2. kitty
  3. dog
  4. pet
  5. kate
  6. puppy
  7. dogs
  8. rabbit
  9. fox
  10. horse

10 najbližih na karti

  1. dog
  2. pet
  3. rat
  4. bug
  5. animal
  6. bird
  7. bee
  8. horse
  9. bull
  10. bear

U obje skupine je 3 od 10 riječi.

U prosjeku za 5.000 riječi, na karti u 2D ostane samo oko 27 %, a u oblaku u 3D oko 29 % (običan PCA, koji samo odabere osi, daje oko 2 %). Kad se 2.560 dimenzija stisne u 2, blizina se ne može potpuno sačuvati. Karta služi za pogled na cjelinu; prava blizina mjeri se u 2.560 dimenzija.

TRY 3

Potraži otoke

Gdje su na karti riječi iste vrste? Pritisni gumb i te će riječi zasvijetliti na karti gore (TRY 1).

Osvijetli skupinu riječi

Pritisni gumb i ta će skupina riječi zasvijetliti na karti gore.

Boje točaka su 12 skupina sličnih redaka. Prve riječi svake skupine:

Skupine boja napravljene su metodom k-means u svih 2.560 dimenzija. U njima su riječi koje se slično koriste, ne samo po značenju: oblici na -ing, prošli oblici, osobna imena. Popise riječi za gumbe odabrali smo mi.

CHECK

Provjeri se

Tri pitanja o onome što smo danas naučili.

Q1U embeddingima modela Gemma 3 kosinusna sličnost riječi „cat“ i „dog“ je 0,37. Koliki je prosjek svih parova među 5000 riječi?

Q2Zašto slične riječi stoje blizu?

Q3Dvije su riječi na karti u 2D daleko jedna od druge. Što je točno?

Blizina, skupine boja i položaji izračunati su iz tablice ugrađivanja (token_embd.weight) datoteke modela Gemma 3 4B (Q4_K_M) (GGUF), pročitane alatom gguf-py iz llama.cpp (5.000 riječi, za svaku je spremljeno 10 najbližih). Poredak na karti računa se u tvom pregledniku. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…