Javite se

Razumjeti LLM od nule#25

Kako LLM zna redoslijed riječi? Problem pozicije

„Danas je Ines starija od Nives“ i „Danas je Nives starija od Ines“: iste riječi, razlikuje se samo redoslijed. Ipak, kad zbrojimo retke ugrađivanja njihovih tokena, obje rečenice postanu potpuno istih 2560 brojeva. Zbrajanje ne pamti redoslijed. Premjesti riječi i uvjeri se.

  • POINT 1Isti token dobiva isti redak tablice ugrađivanja, gdje god stajao u rečenici. U retku nigdje ne piše na kojem je mjestu.
  • POINT 2Kad se retci zbroje, redoslijed nestane. Rečenice od istih tokena postaju jedan te isti vektor, kakav god bio redoslijed.
  • POINT 3Ali pravi LLM mijenja odgovor s redoslijedom riječi, jer negdje ulazi podatak o poziciji. Kako to radi, tema je epizoda 46 i 47.

TRY 1

Premjesti riječi: zbroj se ne mijenja

Pritisni dvije obojene riječi jednu za drugom i one zamijene mjesta. U 3D prikazu blokovi tokena mijenjaju mjesta, a stupci iza njih (prva 64 broja zbroja) zbrajaju se ponovno, novim redom. Bijele crte označavaju zbroj izvorne rečenice.

Rečenica

Pritisni dvije riječi da zamijene mjesta (sivi dijelovi ostaju na mjestu)

Danas je

Sada:Danas je Ines starija od Nives

Zbroj izvorne rečenice (prvih 128 brojeva; narančasto = pozitivno, plavo = negativno)

Zbroj rečenice sada

Od 2.560 brojeva zbroja, od izvorne rečenice razlikuje ih se 0 (najveća razlika: 0)

Odgovor Gemme 3: nakon „Danas je Ines starija od Nives. Od njih dvije mlađa je“ sljedeći je token „Nives“ s vjerojatnošću 99 %, a „Ines“ s 0,1 %. Najvjerojatniji je „␣N“ (99 %).

Zbroj se računa u tvom pregledniku: pravi retci (svaki po 2560 brojeva) zbrajaju se trenutnim redom. Kakav god bio redoslijed, ne razlikuje se ni jedan broj. Gemmini odgovori, naprotiv, izmjereni su unaprijed za svaki redoslijed i jako se mijenjaju. Gemma je tokene dobila točno ovim redom (i kad to nije prava rečenica). Ime se dijeli na dva tokena, pa je vjerojatnost ona prvog tokena (početka imena).

TRY 2

Dvije rečenice od istih tokena

Pritiskom na tokene složi rečenicu X i rečenicu Y. Cilj: dvije rečenice različitog redoslijeda čiji su zbrojevi potpuno isti. Pokušaj i zamijeniti jedan token drugim pa pogledaj što se dogodi.

Tokeni (pritisak dodaje token na kraj rečenice koju uređuješ)

Rečenica X

Rečenica Y

Uspjelo je. Redoslijed je različit, a svih je 2.560 brojeva zbroja isto. Iz zbrojenog vektora ove se dvije rečenice ne mogu razlikovati.

X i Y su ista vreća tokena. Tokeni rečenice X mogu se poredati na 3.628.800 načina, i svaki daje isti zbroj.

Zbrojevi su jednaki točno onda kad obje rečenice sadrže iste tokene, svaki jednak broj puta. Redoslijed u zbroju ne ostavlja nikakav trag.

TRY 3

Koliko ima redoslijeda?

n različitih riječi može se poredati na n × (n − 1) × … × 2 × 1 načina. S više riječi taj broj eksplodira. Zbrajanje sve te redoslijede slaže u jednu jedinu točku.

3.628.800

10 riječi može se poredati na 3.628.800 načina (7 znamenki).

„Danas je Ines starija od Nives“ ima 10 tokena, koji se mogu poredati na 3.628.800 načina. Izračunato je 2.000 nasumično odabranih redoslijeda: zbroj je bio samo jedan (a zbog prirode zbrajanja isti je i za sve ostale).

RiječiRedoslijeda
11
22
36
424
5120
6720
840.320
103.628.800
12479.001.600
151.307.674.368.000
202.432.902.008.176.640.000

To je opet 23. epizoda: što se spljošti, ne može se vratiti. Kad mnogo rečenica padne u jednu točku, ta točka ne može reći koja je rečenica bila.

TRY 4

Sva 24 redoslijeda: što je odgovorila prava Gemma

Četiri pomična dijela poredana su na sva 24 moguća načina, a Gemma 3 4B morala je predvidjeti nastavak. Vreća (zbroj) dala bi 24 puta isti odgovor.

Rečenica

Iza svakog redoslijeda slijedilo je isto „…. Od njih dvije mlađa je“, a mjerili smo vjerojatnost da je sljedeći token „Nives“, odnosno „Ines“.

Vjerojatnost za „Nives“ išla je od 0,2 % do 99 %, ovisno o redoslijedu.

RedoslijedNivesInesNajvjerojatnije
Danas je Ines starija od Nives 99 % 0,1 %␣N
Danas je Ines starija Nives od 11 % 0,012 %␣Ana
Danas je Ines od starija Nives 70 % 0,042 %␣N
Danas je Ines od Nives starija 3,0 % 0,006 %␣Ana
Danas je Ines Nives starija od 6,8 % 7,8 %␣Ana
Danas je Ines Nives od starija 3,1 % 0,007 %␣Ana
Danas je starija Ines od Nives 76 % 0,2 %␣N
Danas je starija Ines Nives od 0,7 % 0,041 %␣Ana
Danas je starija od Ines Nives 3,2 % 3,8 %␣Ana
Danas je starija od Nives Ines 35 % 0,4 %␣N
Danas je starija Nives Ines od 1,3 % 0,021 %␣Ana
Danas je starija Nives od Ines 1,9 % 75 %␣In
Danas je od Ines starija Nives 10 % 0,5 %␣Ana
Danas je od Ines Nives starija 2,6 % 0,065 %␣Ana
Danas je od starija Ines Nives 1,0 % 0,013 %␣Ana
Danas je od starija Nives Ines 2,0 % 0,058 %␣Ana
Danas je od Nives Ines starija 12 % 0,093 %␣Ana
Danas je od Nives starija Ines 18 % 0,2 %␣Ana
Danas je Nives Ines starija od 11 % 0,3 %␣Ana
Danas je Nives Ines od starija 2,1 % 0,018 %␣za
Danas je Nives starija Ines od 18 % 0,2 %␣Ana
Danas je Nives starija od Ines 0,2 % 98 %␣In
Danas je Nives od Ines starija 8,0 % 2,1 %␣Ana
Danas je Nives od starija Ines 4,7 % 0,7 %␣Ana

Plavi redak je izvorna rečenica, narančasti ona suprotnog značenja. Za iste tokene drugim redom Gemma daje drugi odgovor. Dakle, negdje dobiva podatak o tome na kojem je mjestu koji token. U tablici ugrađivanja na ulazu nema podatka o poziciji. Gdje i kako pozicija ulazi, tema je epizoda 46 i 47. Ime se dijeli na dva tokena, pa je vjerojatnost ona prvog tokena (početka imena).

TRY 5

Što vreća još govori; druge rečenice; podjela na tokene

Što zbrojeni vektor pamti, a što ne, u izmjerenim brojevima.

Među svih 262.144 redaka tablice ugrađivanja potražili smo one najbliže zbroju rečenice „Danas je Ines starija od Nives“ (kosinusna sličnost). Od prvih 10, njih 7 su tokeni iz rečenice (zeleno).

␣N0,50␣D0,49D0,47␣In0,45N0,44ja0,42␣je0,42In0,42es0,42␣od0,41

Zbroj izvorne rečenice u usporedbi sa zbrojevima drugih rečenica

RečenicaUdaljenostRazličitih brojeva (od 2560)
Danas je Nives starija od Ines00
Danas je Ines starija od Karmen1,772.560
Danas dijete gleda mače3,712.560

Napomena o izboru primjera: „Pas je ugrizao čovjeka“ i „Čovjek je ugrizao psa“ nisu isti tokeni drugim redom, jer se riječi mijenjaju po padežima (pas → psa, čovjek → čovjeka). Zato primjer koristi imena Ines i Nives, koja se ne sklanjaju. Zanimljivo: Gemma riječ „čovjeka“ dijeli na tokene „čovjek“ i „a“, pa je i padežni nastavak zaseban token.

Zanimljivost iz engleske verzije: na pitanje „The one who got bitten was the“ Gemma je i za „The dog bit the man“ i za „The man bit the dog“ odgovorila „man“ (96 % i 93 %). Čovjek koji grize psa toliko je neobičan da je, čini se, prevladalo predznanje. S pitanjem „got hurt“ druga rečenica daje „dog“ 83 %.

Kosinusna sličnost bila je tema 18. epizode, a očitavanje sadržaja iz zbroja 24. epizode.

CHECK

Provjeri se

Tri pitanja o onome što je ova epizoda pokazala.

Q1Token „ Ines“ u jednoj rečenici stoji u sredini, a u drugoj na kraju. Koji se retci tablice ugrađivanja dohvaćaju?

Q2Zbrojimo retke svih tokena rečenice „Danas je Ines starija od Nives“ i rečenice „Danas je Nives starija od Ines“. Ta dva zbroja su …

Q3Može li prava Gemma razlikovati dvije rečenice koje se razlikuju samo redoslijedom riječi?

Zbrojevi (TRY 1 i 2) računaju se u tvom pregledniku; ništa se ne šalje na poslužitelj. Retci su prave vrijednosti pročitane iz tablice ugrađivanja modela Gemma 3 4B (Q4_K_M) (gemma-3-4b-it-Q4_K_M.gguf); Gemmini odgovori izmjereni su unaprijed.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…