Kako LLM zna redoslijed riječi? Problem pozicije
„Danas je Ines starija od Nives“ i „Danas je Nives starija od Ines“: iste riječi, razlikuje se samo redoslijed. Ipak, kad zbrojimo retke ugrađivanja njihovih tokena, obje rečenice postanu potpuno istih 2560 brojeva. Zbrajanje ne pamti redoslijed. Premjesti riječi i uvjeri se.
- POINT 1Isti token dobiva isti redak tablice ugrađivanja, gdje god stajao u rečenici. U retku nigdje ne piše na kojem je mjestu.
- POINT 2Kad se retci zbroje, redoslijed nestane. Rečenice od istih tokena postaju jedan te isti vektor, kakav god bio redoslijed.
- POINT 3Ali pravi LLM mijenja odgovor s redoslijedom riječi, jer negdje ulazi podatak o poziciji. Kako to radi, tema je epizoda 46 i 47.
TRY 1
Premjesti riječi: zbroj se ne mijenja
Pritisni dvije obojene riječi jednu za drugom i one zamijene mjesta. U 3D prikazu blokovi tokena mijenjaju mjesta, a stupci iza njih (prva 64 broja zbroja) zbrajaju se ponovno, novim redom. Bijele crte označavaju zbroj izvorne rečenice.
Pritisni dvije riječi da zamijene mjesta (sivi dijelovi ostaju na mjestu)
Sada:Danas je Ines starija od Nives
Zbroj izvorne rečenice (prvih 128 brojeva; narančasto = pozitivno, plavo = negativno)
Zbroj rečenice sada
Od 2.560 brojeva zbroja, od izvorne rečenice razlikuje ih se 0 (najveća razlika: 0)
Odgovor Gemme 3: nakon „Danas je Ines starija od Nives. Od njih dvije mlađa je“ sljedeći je token „Nives“ s vjerojatnošću 99 %, a „Ines“ s 0,1 %. Najvjerojatniji je „␣N“ (99 %).
Zbroj se računa u tvom pregledniku: pravi retci (svaki po 2560 brojeva) zbrajaju se trenutnim redom. Kakav god bio redoslijed, ne razlikuje se ni jedan broj. Gemmini odgovori, naprotiv, izmjereni su unaprijed za svaki redoslijed i jako se mijenjaju. Gemma je tokene dobila točno ovim redom (i kad to nije prava rečenica). Ime se dijeli na dva tokena, pa je vjerojatnost ona prvog tokena (početka imena).
TRY 2
Dvije rečenice od istih tokena
Pritiskom na tokene složi rečenicu X i rečenicu Y. Cilj: dvije rečenice različitog redoslijeda čiji su zbrojevi potpuno isti. Pokušaj i zamijeniti jedan token drugim pa pogledaj što se dogodi.
Tokeni (pritisak dodaje token na kraj rečenice koju uređuješ)
Rečenica X
Rečenica Y
Uspjelo je. Redoslijed je različit, a svih je 2.560 brojeva zbroja isto. Iz zbrojenog vektora ove se dvije rečenice ne mogu razlikovati.
X i Y su ista vreća tokena. Tokeni rečenice X mogu se poredati na 3.628.800 načina, i svaki daje isti zbroj.
Zbrojevi su jednaki točno onda kad obje rečenice sadrže iste tokene, svaki jednak broj puta. Redoslijed u zbroju ne ostavlja nikakav trag.
TRY 3
Koliko ima redoslijeda?
n različitih riječi može se poredati na n × (n − 1) × … × 2 × 1 načina. S više riječi taj broj eksplodira. Zbrajanje sve te redoslijede slaže u jednu jedinu točku.
3.628.800
10 riječi može se poredati na 3.628.800 načina (7 znamenki).
„Danas je Ines starija od Nives“ ima 10 tokena, koji se mogu poredati na 3.628.800 načina. Izračunato je 2.000 nasumično odabranih redoslijeda: zbroj je bio samo jedan (a zbog prirode zbrajanja isti je i za sve ostale).
| Riječi | Redoslijeda |
|---|---|
| 1 | 1 |
| 2 | 2 |
| 3 | 6 |
| 4 | 24 |
| 5 | 120 |
| 6 | 720 |
| 8 | 40.320 |
| 10 | 3.628.800 |
| 12 | 479.001.600 |
| 15 | 1.307.674.368.000 |
| 20 | 2.432.902.008.176.640.000 |
To je opet 23. epizoda: što se spljošti, ne može se vratiti. Kad mnogo rečenica padne u jednu točku, ta točka ne može reći koja je rečenica bila.
TRY 4
Sva 24 redoslijeda: što je odgovorila prava Gemma
Četiri pomična dijela poredana su na sva 24 moguća načina, a Gemma 3 4B morala je predvidjeti nastavak. Vreća (zbroj) dala bi 24 puta isti odgovor.
Iza svakog redoslijeda slijedilo je isto „…. Od njih dvije mlađa je“, a mjerili smo vjerojatnost da je sljedeći token „Nives“, odnosno „Ines“.
Vjerojatnost za „Nives“ išla je od 0,2 % do 99 %, ovisno o redoslijedu.
| Redoslijed | Nives | Ines | Najvjerojatnije |
|---|---|---|---|
| Danas je Ines starija od Nives | 99 % | 0,1 % | ␣N |
| Danas je Ines starija Nives od | 11 % | 0,012 % | ␣Ana |
| Danas je Ines od starija Nives | 70 % | 0,042 % | ␣N |
| Danas je Ines od Nives starija | 3,0 % | 0,006 % | ␣Ana |
| Danas je Ines Nives starija od | 6,8 % | 7,8 % | ␣Ana |
| Danas je Ines Nives od starija | 3,1 % | 0,007 % | ␣Ana |
| Danas je starija Ines od Nives | 76 % | 0,2 % | ␣N |
| Danas je starija Ines Nives od | 0,7 % | 0,041 % | ␣Ana |
| Danas je starija od Ines Nives | 3,2 % | 3,8 % | ␣Ana |
| Danas je starija od Nives Ines | 35 % | 0,4 % | ␣N |
| Danas je starija Nives Ines od | 1,3 % | 0,021 % | ␣Ana |
| Danas je starija Nives od Ines | 1,9 % | 75 % | ␣In |
| Danas je od Ines starija Nives | 10 % | 0,5 % | ␣Ana |
| Danas je od Ines Nives starija | 2,6 % | 0,065 % | ␣Ana |
| Danas je od starija Ines Nives | 1,0 % | 0,013 % | ␣Ana |
| Danas je od starija Nives Ines | 2,0 % | 0,058 % | ␣Ana |
| Danas je od Nives Ines starija | 12 % | 0,093 % | ␣Ana |
| Danas je od Nives starija Ines | 18 % | 0,2 % | ␣Ana |
| Danas je Nives Ines starija od | 11 % | 0,3 % | ␣Ana |
| Danas je Nives Ines od starija | 2,1 % | 0,018 % | ␣za |
| Danas je Nives starija Ines od | 18 % | 0,2 % | ␣Ana |
| Danas je Nives starija od Ines | 0,2 % | 98 % | ␣In |
| Danas je Nives od Ines starija | 8,0 % | 2,1 % | ␣Ana |
| Danas je Nives od starija Ines | 4,7 % | 0,7 % | ␣Ana |
Plavi redak je izvorna rečenica, narančasti ona suprotnog značenja. Za iste tokene drugim redom Gemma daje drugi odgovor. Dakle, negdje dobiva podatak o tome na kojem je mjestu koji token. U tablici ugrađivanja na ulazu nema podatka o poziciji. Gdje i kako pozicija ulazi, tema je epizoda 46 i 47. Ime se dijeli na dva tokena, pa je vjerojatnost ona prvog tokena (početka imena).
TRY 5
Što vreća još govori; druge rečenice; podjela na tokene
Što zbrojeni vektor pamti, a što ne, u izmjerenim brojevima.
Među svih 262.144 redaka tablice ugrađivanja potražili smo one najbliže zbroju rečenice „Danas je Ines starija od Nives“ (kosinusna sličnost). Od prvih 10, njih 7 su tokeni iz rečenice (zeleno).
Zbroj izvorne rečenice u usporedbi sa zbrojevima drugih rečenica
| Rečenica | Udaljenost | Različitih brojeva (od 2560) |
|---|---|---|
| Danas je Nives starija od Ines | 0 | 0 |
| Danas je Ines starija od Karmen | 1,77 | 2.560 |
| Danas dijete gleda mače | 3,71 | 2.560 |
Napomena o izboru primjera: „Pas je ugrizao čovjeka“ i „Čovjek je ugrizao psa“ nisu isti tokeni drugim redom, jer se riječi mijenjaju po padežima (pas → psa, čovjek → čovjeka). Zato primjer koristi imena Ines i Nives, koja se ne sklanjaju. Zanimljivo: Gemma riječ „čovjeka“ dijeli na tokene „čovjek“ i „a“, pa je i padežni nastavak zaseban token.
Zanimljivost iz engleske verzije: na pitanje „The one who got bitten was the“ Gemma je i za „The dog bit the man“ i za „The man bit the dog“ odgovorila „man“ (96 % i 93 %). Čovjek koji grize psa toliko je neobičan da je, čini se, prevladalo predznanje. S pitanjem „got hurt“ druga rečenica daje „dog“ 83 %.
Kosinusna sličnost bila je tema 18. epizode, a očitavanje sadržaja iz zbroja 24. epizode.
CHECK
Provjeri se
Tri pitanja o onome što je ova epizoda pokazala.
Q1Token „ Ines“ u jednoj rečenici stoji u sredini, a u drugoj na kraju. Koji se retci tablice ugrađivanja dohvaćaju?
Q2Zbrojimo retke svih tokena rečenice „Danas je Ines starija od Nives“ i rečenice „Danas je Nives starija od Ines“. Ta dva zbroja su …
Q3Može li prava Gemma razlikovati dvije rečenice koje se razlikuju samo redoslijedom riječi?
NEXT #26
Što je neuron? Težine i pomaci u neuronskoj mreži
Sljedeći put počinje novo poglavlje. Što je neuron? Gledamo težine i pomake u neuronskoj mreži.
Zbrojevi (TRY 1 i 2) računaju se u tvom pregledniku; ništa se ne šalje na poslužitelj. Retci su prave vrijednosti pročitane iz tablice ugrađivanja modela Gemma 3 4B (Q4_K_M) (gemma-3-4b-it-Q4_K_M.gguf); Gemmini odgovori izmjereni su unaprijed.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…