Javite se

Razumjeti LLM od nule#24

Mnogo dimenzija: zašto embeddinzi LLM-a imaju stotine dimenzija

U modelu Gemma 3 4B jedna je riječ zapisana s 2560 brojeva: to je 2560 dimenzija. Dimenzija je jedan broj koji možeš slobodno mijenjati. Kad ih je mnogo, događa se nešto što naša trodimenzionalna intuicija ne očekuje: dvije nasumično povučene strelice gotovo su uvijek gotovo okomite. Povećaj broj dimenzija i uvjeri se.

  • POINT 1Dimenzija je jedan broj koji možeš slobodno mijenjati. Točno okomitih smjerova (skalarni produkt 0) ima samo onoliko koliko ima dimenzija.
  • POINT 2Ali u mnogo dimenzija nasumični su smjerovi međusobno gotovo okomiti. Ako je „gotovo“ dovoljno, broj smjerova koji stanu raste eksplozivno s brojem dimenzija. U 2560 dimenzija postavili smo ih 10.000 bez ijednog sudara.
  • POINT 3Zato se mnoga svojstva mogu složiti a da se ne pomiješaju. Jedna dimenzija nije jedno značenje: značenje nose smjerovi. Kad se dimenzije oduzmu, susjedstva se raspadnu.

TRY 1

Dodaj dimenzije i izmjeri kut

Pomakni klizač i stranica odmah povlači parove strelica u nasumičnim smjerovima i mjeri kut svakog para. Točka na kugli je kut druge strelice kad prva pokazuje na sjeverni pol (zemljopisna dužina ne znači ništa). Zeleni pojas je 80° do 100°.

0°45°90°135°180°

Unaprijed izračunato sa 100.000 parova: 17 % između 80° i 100°; kutovi od 0,5° do 179,6°.

U dvije dimenzije svaki je kut jednako vjerojatan. U tri je blizu pola malo mjesta, a oko ekvatora mnogo, pa su kutovi blizu 90° češći. Sa svakom dodanom dimenzijom taj je „ekvator“ sve širi, sve dok gotovo sve točke ne budu na njemu. Slučajni brojevi izvlače se u tvom pregledniku.

TRY 2

Postavi što više „gotovo okomitih“ smjerova

Nasumični smjerovi izvlače se jedan po jedan. Novi ostaje ako mu je kut prema svakom već postavljenom smjeru između 80° i 100°; inače se baca. Svaki pritisak izvlači još 2000.

Broj dimenzija

Broj dimenzija: 3. Izvučeno 0, ostalo 0, bačeno 0.

Unaprijed izračunato (milijun izvlačenja ili dok ih ne ostane 10.000)

DimenzijeOstaloBačeno
22999.998
33999.997
44999.996
55999.995
66999.994
88999.992
1010999.990
1514999.986
2017999.983
3026999.974
5041999.959
100119999.881
200670999.330
3003.093996.907
50010.000 *6.538
1.00010.000 *2
2.56010.000 *0

* znači da je pokus prekinut jer ih je ostalo 10.000. U 2560 dimenzija na putu do 10.000 nije bačena nijedna strelica. Ako se smjerovi slažu točno pod pravim kutom, uvijek ih stane koliko ima dimenzija. Nasumično izvlačenje između otprilike 15 i 50 dimenzija malo zaostaje za tim, a iznad 100 dimenzija daleko premašuje broj dimenzija.

TRY 3

Složi svojstva i očitaj ih

Svako svojstvo dobije jedan nasumičan smjer. Pripremimo 1500 smjerova, odaberemo nekoliko, zbrojimo ih i skalarnim produktom pogađamo koji su zbrojeni. U malo dimenzija pomiješaju se s ostalim smjerovima i ne mogu se razabrati.

Broj dimenzija
Složeno

Pritisni „Iskušaj“: stranica napravi smjerove, zbroji neke i izračuna skalarne produkte.

Unaprijed izračunato (10.000 smjerova; u koliko su od 1000 pokušaja pronađeni svi)

Dimenzije3 složena10 složenih
300
1000
30430
1009970
3001.000696
1.0001.0001.000
2.5601.0001.000

Stupići su 40 najvećih skalarnih produkata. Žuto: zbrojeni smjer. Crveno: pogrešan smjer među prvima. Lijevo od isprekidane crte: prva mjesta. Što se više svojstava slaže i što je više smjerova koje treba razlikovati, to više dimenzija treba.

TRY 4

Manje dimenzija razbija susjedstva

Prava ugrađivanja modela Gemma 3 4B (5000 engleskih riječi, 2560 dimenzija) spljoštimo: ostaje samo k najvažnijih smjerova. Zatim brojimo koliko je od izvornih 10 najbližih riječi i dalje među 10 najbližih.

2.560 dimenzija: u prosjeku za 5000 riječi ostaje 100 % susjeda.

Riječ

10 najbližih riječi za „cat“ u 2.560 dimenzija. Izvornih susjeda među njima: 10.

catcatskittydogpetkatepuppydogsrabbitfoxhorse

Puni okvir: izvorni susjed. Isprekidani okvir: riječ koja se približila samo zbog spljoštavanja. „Najvažniji smjerovi“ dolaze iz analize glavnih komponenata (smjerovi u kojima se 5000 riječi najviše rasipa, redom). Čak i uz taj najbolji izbor u dvije dimenzije ne preživi gotovo nijedan susjed. Zato karta iz 21. epizode nije mogla sačuvati susjede.

TRY 5

Izmjereno na pravoj Gemmi

Pokusi iznad koristili su slučajne brojeve. Izmjerili smo događa li se isto u pravoj tablici ugrađivanja.

Kutovi svih 12.497.500 parova među 5000 riječi: prosjek 87,1°; 99,3 % između 80° i 100°. Samo 0,67 % parova bliže je od 80°.

Prava ugrađivanja: prosječni kut87,1°
Prava: udio u 80°–100°99,3%
Nasumično, 2560 dimenzija: prosjek90,0°
5000 redaka cijele tablice: 80°–100°99,7%

Smjer „veliko slovo“: napravljen iz 2.100 parova riječi (malo i veliko početno slovo), a na preostalih 2.099 parova svaki put pokazuje na pravu stranu. Najveća pojedina dimenzija nosi 7 % tog smjera. Za polovicu treba 94 dimenzija, za devet desetina 861.

Da budemo pošteni: sama dimenzija broj 1.335 već razlikuje veliko i malo slovo u 99,4 % slučajeva. Neka svojstva doista leže većinom u jednoj dimenziji. A kut između smjera „veliko slovo“ i smjera „množina“ je 84°: gotovo okomito.

Broj dimenzija ugrađivanja nekih modela

ModelDimenzije
Gemma 3 270M640
GPT-2768
Gemma 3 1B1.152
Gemma 3 4B2.560
Gemma 3 12B3.840
Gemma 3 27B5.376

Prosječni kut pravih ugrađivanja malo je manji od 90° jer svaka riječ nosi malu zajedničku komponentu. Dvostruko više dimenzija znači oko četiri puta više brojeva u matricama, pa je broj dimenzija kompromis s cijenom računanja. Riječ „mačka“ u ovom modelu nije jedan token, pa su primjeri engleske riječi.

CHECK

Provjeri se

Tri pitanja o onome što je ova epizoda pokazala.

Q1Koliko međusobno točno okomitih smjerova stane u trodimenzionalnu sobu?

Q2U 2560 dimenzija nasumce povučeš dvije strelice. Koliki je kut?

Q3Je li svaka od 2560 dimenzija zadužena za jedno značenje, na primjer „veliko slovo“ ili „životinja“?

Pokusi sa slučajnim brojevima (TRY 1–3) računaju se u tvom pregledniku; ništa se ne šalje na poslužitelj. Tablice i TRY 4–5 izračunati su unaprijed (prava ugrađivanja pročitana su iz modela Gemma 3 4B (Q4_K_M), gemma-3-4b-it-Q4_K_M.gguf).

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…