Mnogo dimenzija: zašto embeddinzi LLM-a imaju stotine dimenzija
U modelu Gemma 3 4B jedna je riječ zapisana s 2560 brojeva: to je 2560 dimenzija. Dimenzija je jedan broj koji možeš slobodno mijenjati. Kad ih je mnogo, događa se nešto što naša trodimenzionalna intuicija ne očekuje: dvije nasumično povučene strelice gotovo su uvijek gotovo okomite. Povećaj broj dimenzija i uvjeri se.
- POINT 1Dimenzija je jedan broj koji možeš slobodno mijenjati. Točno okomitih smjerova (skalarni produkt 0) ima samo onoliko koliko ima dimenzija.
- POINT 2Ali u mnogo dimenzija nasumični su smjerovi međusobno gotovo okomiti. Ako je „gotovo“ dovoljno, broj smjerova koji stanu raste eksplozivno s brojem dimenzija. U 2560 dimenzija postavili smo ih 10.000 bez ijednog sudara.
- POINT 3Zato se mnoga svojstva mogu složiti a da se ne pomiješaju. Jedna dimenzija nije jedno značenje: značenje nose smjerovi. Kad se dimenzije oduzmu, susjedstva se raspadnu.
TRY 1
Dodaj dimenzije i izmjeri kut
Pomakni klizač i stranica odmah povlači parove strelica u nasumičnim smjerovima i mjeri kut svakog para. Točka na kugli je kut druge strelice kad prva pokazuje na sjeverni pol (zemljopisna dužina ne znači ništa). Zeleni pojas je 80° do 100°.
Unaprijed izračunato sa 100.000 parova: 17 % između 80° i 100°; kutovi od 0,5° do 179,6°.
U dvije dimenzije svaki je kut jednako vjerojatan. U tri je blizu pola malo mjesta, a oko ekvatora mnogo, pa su kutovi blizu 90° češći. Sa svakom dodanom dimenzijom taj je „ekvator“ sve širi, sve dok gotovo sve točke ne budu na njemu. Slučajni brojevi izvlače se u tvom pregledniku.
TRY 2
Postavi što više „gotovo okomitih“ smjerova
Nasumični smjerovi izvlače se jedan po jedan. Novi ostaje ako mu je kut prema svakom već postavljenom smjeru između 80° i 100°; inače se baca. Svaki pritisak izvlači još 2000.
Broj dimenzija: 3. Izvučeno 0, ostalo 0, bačeno 0.
Unaprijed izračunato (milijun izvlačenja ili dok ih ne ostane 10.000)
| Dimenzije | Ostalo | Bačeno |
|---|---|---|
| 2 | 2 | 999.998 |
| 3 | 3 | 999.997 |
| 4 | 4 | 999.996 |
| 5 | 5 | 999.995 |
| 6 | 6 | 999.994 |
| 8 | 8 | 999.992 |
| 10 | 10 | 999.990 |
| 15 | 14 | 999.986 |
| 20 | 17 | 999.983 |
| 30 | 26 | 999.974 |
| 50 | 41 | 999.959 |
| 100 | 119 | 999.881 |
| 200 | 670 | 999.330 |
| 300 | 3.093 | 996.907 |
| 500 | 10.000 * | 6.538 |
| 1.000 | 10.000 * | 2 |
| 2.560 | 10.000 * | 0 |
* znači da je pokus prekinut jer ih je ostalo 10.000. U 2560 dimenzija na putu do 10.000 nije bačena nijedna strelica. Ako se smjerovi slažu točno pod pravim kutom, uvijek ih stane koliko ima dimenzija. Nasumično izvlačenje između otprilike 15 i 50 dimenzija malo zaostaje za tim, a iznad 100 dimenzija daleko premašuje broj dimenzija.
TRY 3
Složi svojstva i očitaj ih
Svako svojstvo dobije jedan nasumičan smjer. Pripremimo 1500 smjerova, odaberemo nekoliko, zbrojimo ih i skalarnim produktom pogađamo koji su zbrojeni. U malo dimenzija pomiješaju se s ostalim smjerovima i ne mogu se razabrati.
Pritisni „Iskušaj“: stranica napravi smjerove, zbroji neke i izračuna skalarne produkte.
Unaprijed izračunato (10.000 smjerova; u koliko su od 1000 pokušaja pronađeni svi)
| Dimenzije | 3 složena | 10 složenih |
|---|---|---|
| 3 | 0 | 0 |
| 10 | 0 | 0 |
| 30 | 43 | 0 |
| 100 | 997 | 0 |
| 300 | 1.000 | 696 |
| 1.000 | 1.000 | 1.000 |
| 2.560 | 1.000 | 1.000 |
Stupići su 40 najvećih skalarnih produkata. Žuto: zbrojeni smjer. Crveno: pogrešan smjer među prvima. Lijevo od isprekidane crte: prva mjesta. Što se više svojstava slaže i što je više smjerova koje treba razlikovati, to više dimenzija treba.
TRY 4
Manje dimenzija razbija susjedstva
Prava ugrađivanja modela Gemma 3 4B (5000 engleskih riječi, 2560 dimenzija) spljoštimo: ostaje samo k najvažnijih smjerova. Zatim brojimo koliko je od izvornih 10 najbližih riječi i dalje među 10 najbližih.
2.560 dimenzija: u prosjeku za 5000 riječi ostaje 100 % susjeda.
10 najbližih riječi za „cat“ u 2.560 dimenzija. Izvornih susjeda među njima: 10.
Puni okvir: izvorni susjed. Isprekidani okvir: riječ koja se približila samo zbog spljoštavanja. „Najvažniji smjerovi“ dolaze iz analize glavnih komponenata (smjerovi u kojima se 5000 riječi najviše rasipa, redom). Čak i uz taj najbolji izbor u dvije dimenzije ne preživi gotovo nijedan susjed. Zato karta iz 21. epizode nije mogla sačuvati susjede.
TRY 5
Izmjereno na pravoj Gemmi
Pokusi iznad koristili su slučajne brojeve. Izmjerili smo događa li se isto u pravoj tablici ugrađivanja.
Kutovi svih 12.497.500 parova među 5000 riječi: prosjek 87,1°; 99,3 % između 80° i 100°. Samo 0,67 % parova bliže je od 80°.
Smjer „veliko slovo“: napravljen iz 2.100 parova riječi (malo i veliko početno slovo), a na preostalih 2.099 parova svaki put pokazuje na pravu stranu. Najveća pojedina dimenzija nosi 7 % tog smjera. Za polovicu treba 94 dimenzija, za devet desetina 861.
Da budemo pošteni: sama dimenzija broj 1.335 već razlikuje veliko i malo slovo u 99,4 % slučajeva. Neka svojstva doista leže većinom u jednoj dimenziji. A kut između smjera „veliko slovo“ i smjera „množina“ je 84°: gotovo okomito.
Broj dimenzija ugrađivanja nekih modela
| Model | Dimenzije |
|---|---|
| Gemma 3 270M | 640 |
| GPT-2 | 768 |
| Gemma 3 1B | 1.152 |
| Gemma 3 4B | 2.560 |
| Gemma 3 12B | 3.840 |
| Gemma 3 27B | 5.376 |
Prosječni kut pravih ugrađivanja malo je manji od 90° jer svaka riječ nosi malu zajedničku komponentu. Dvostruko više dimenzija znači oko četiri puta više brojeva u matricama, pa je broj dimenzija kompromis s cijenom računanja. Riječ „mačka“ u ovom modelu nije jedan token, pa su primjeri engleske riječi.
CHECK
Provjeri se
Tri pitanja o onome što je ova epizoda pokazala.
Q1Koliko međusobno točno okomitih smjerova stane u trodimenzionalnu sobu?
Q2U 2560 dimenzija nasumce povučeš dvije strelice. Koliki je kut?
Q3Je li svaka od 2560 dimenzija zadužena za jedno značenje, na primjer „veliko slovo“ ili „životinja“?
NEXT #25
Kako LLM zna redoslijed riječi? Problem pozicije
Sljedeći put: redoslijed riječi. Kako LLM zna kojim redom riječi dolaze? Tu se zapravo krije velik problem.
Pokusi sa slučajnim brojevima (TRY 1–3) računaju se u tvom pregledniku; ništa se ne šalje na poslužitelj. Tablice i TRY 4–5 izračunati su unaprijed (prava ugrađivanja pročitana su iz modela Gemma 3 4B (Q4_K_M), gemma-3-4b-it-Q4_K_M.gguf).
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…