Javite se

Razumjeti LLM od nule#12

Tokenizator: kodiranje i dekodiranje teksta u ID-ove tokena

U prošlim smo epizodama brojanjem teksta napravili pravila spajanja i rječnik. Sad ih koristimo. Rečenica koju upišeš odmah se reže na tokene, pretvara u ID-ove tokena i vraća u izvornu rečenicu.

  • POINT 1Kodiranje: rastavi na slova, primijeni pravila spajanja redom kojim su naučena i potraži komade u tablici rječnika. Ne uzima se najdulji komad prvi.
  • POINT 2Dekodiranje: potraži svaki ID, izvadi komad i spoji. Pravila ne trebaju.
  • POINT 3Pravi tokenizator znak kojeg nema u tablici rastavi na bajtove. Zato se svaki tekst uvijek točno vraća.

TRY 1

Tokeni dok tipkaš

Mali tokenizator iz videa radi unutar ove stranice. Upiši rečenicu: pravila se odmah primjenjuju i rečenica se reže na obojene tokene. Mali broj ispod svakog komada je njegov ID tokena.

Primjeri
  1. dijete26
  2. vo22
  3. li23
  4. m1
  5. l7
  6. ije21
  7. k4
  8. o6

17slova

8tokena

0nepoznato (ID 0)

Niz ID-ova tokena26, 22, 23, 1, 7, 21, 4, 6
Dekodiranodijete voli mlijeko

17 slova postalo je 8 tokena, a dekodiranje vraća točno isti tekst.

Što je u ovom tokenizatoru (možeš ga ponovno naučiti)

Trenutačni tokenizator: 7 pravila spajanja, 27 redaka rječnika (ID 0 + 19 slova + komadi iz pravila).

  1. 1j + e → je5× u učenju
  2. 2i + je → ije3× u učenju
  3. 3v + o → vo2× u učenju
  4. 4l + i → li2× u učenju
  5. 5d + ije → dije2× u učenju
  6. 6dije + t → dijet2× u učenju
  7. 7dijet + e → dijete2× u učenju

Učenje ide kao prošli put: spajaj najčešći par susjeda, iznova i iznova, dok se nijedan par ne pojavi dvaput (izjednačeno: prvi pronađeni par). Parovi se broje samo unutar riječi; velika slova i interpunkcija se uklanjaju.

Ovaj tokenizator zna samo slova iz svog teksta za učenje. Probaj slovo koje nikad nije vidio.

TRY 2

Pravila jedno po jedno, redom

Polako gledamo kodiranje. Nakon rastavljanja na slova, pravila se primjenjuju od prvog, jedno po jedno. Ako pravilo ništa ne pronađe, samo idemo dalje.

Primjeri
  1. d
  2. i
  3. j
  4. e
  5. t
  6. e
  7. v
  8. o
  9. l
  10. i
  11. m
  12. l
  13. i
  14. j
  15. e
  16. k
  17. o

Rastavljeno na 17 slova. Sad se 7 pravila primjenjuje redom.

  1. 1j + e → je
  2. 2i + je → ije
  3. 3v + o → vo
  4. 4l + i → li
  5. 5d + ije → dije
  6. 6dije + t → dijet
  7. 7dijet + e → dijete

Usporedi s drugom idejom na istoj tablici: slijeva uvijek uzmi najdulji komad.

Pravila redom8

  1. dijete
  2. vo
  3. li
  4. m
  5. l
  6. ije
  7. k
  8. o

Najdulji slijeva8

  1. dijete
  2. vo
  3. li
  4. m
  5. li
  6. je
  7. k
  8. o

Ista tablica, drugačiji rez. Model je učio na tokenima izrezanima primjenom pravila redom, pa i kodiranje mora slijediti isti postupak.

Redoslijed pravila točno je redoslijed kojim je učenje spajalo parove. Promijeni redoslijed i ista rečenica može dati druge tokene.

TRY 3

Pravi Gemmin tokenizator

Sad isto s tokenizatorom jezičnog modela koji koristimo u seriji. Od susjeda koje može spojiti, Gemma najprije spaja komad s najmanjim brojem (ID tokena). Što je komad ranije nastao, to mu je broj manji, pa je redoslijed brojeva redoslijed pravila.

U pravom modelu (Gemma 3 4B (Q4_K_M, llama.cpp)) ovo daje 11 ID-ova tokena.

  1. Token7211
  2. iz685
  3. ator1277
  4. ▁kod39438
  5. ira4651
  6. ▁i858
  7. ▁dek45413
  8. od590
  9. ira4651
  10. ▁tekst69176
  11. .236761

Gledaj kako se „▁dekodira” spaja, spajanje po spajanje.

  1. ▁
  2. d
  3. e
  4. k
  5. o
  6. d
  7. i
  8. r
  9. a
  • ▁d 513
  • de 893
  • ek 1129
  • ko 3799
  • od 590
  • di 5035
  • ir 583
  • ra 601

Spajanje 1: parova koji se mogu spojiti ima 8. Spaja se onaj s najmanjim brojem, „▁d” (513).

Ne uzima se najdulji komad slijeva. Spaja se redom brojeva (naučenim redom), pa rezultat može biti drugačiji.

Oznaka razmaka: Gemma čuva razmak kao dio komada (oznaka ▁). Dekodiranje oznaku najprije vrati u razmak, pa spaja.

  1. kod70872
  2. ira4651
  3. ▁dek45413
  4. od590
  5. ira4651

“dekodiranje”3

  1. dek49837
  2. od590
  3. iranje85484

“▁dekodiranje”3

  1. ▁dek45413
  2. od590
  3. iranje85484

Razmak ispred daje drugi token.

  1. F0<0xF0>ID 478
  2. 9F<0x9F>ID 397
  3. A6<0xA6>ID 404
  4. A9<0xA9>ID 407
Dekodirano (4 od 4 bajtova)🦩

Svi su bajtovi tu (4): „🦩” se vratio.

Gemmina tablica ima mjesto za svaku od 256 vrijednosti bajta (ID-ovi tokena 238 do 493). Znak kojeg nema u tablici rastavi se na te bajtne tokene. „🦩” iz videa u Gemmi je postao 478, 397, 404, 407. Brojevi ovdje su bajtni tokeni koji se koriste kad znaka nema u tablici (česti znakovi obično imaju vlastiti token).

Kodiraj, pa dekodiraj (provjereno na pravom modelu; broj lijevo je broj tokena)

  • 11Tokenizator kodira i dekodira tekst.✓
  • 16Vidio sam 🦩 u zoološkom vrtu.✓
  • 12Košta 42,50 €, zar ne?✓
  • 10Dekodiranje je obrnuto kodiranje.✓
  • 9Hrvatska čokolada je fina.✓

I s brojevima, simbolima i emojijima svaka se rečenica vratila bez ijednog promijenjenog znaka. Da se uvijek točno vrati, ključno je svojstvo tokenizatora.

CHECK

Brza provjera

Tri pitanja o onome što smo danas naučili.

Q1Kad gotov tokenizator kodira novu rečenicu, kako koristi pravila spajanja?

Q2Što treba dekodiranju (ID-ovi natrag u tekst)?

Q3Što se događa sa znakom kojeg nema u Gemminoj tablici (rijedak znak ili emoji)?

Učenje, kodiranje i dekodiranje malim tokenizatorom računa tvoj preglednik na licu mjesta. Pravi tokeni i ID-ovi tokena unaprijed su preuzeti iz tokenizatora jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp), rječnik od 262.144 redaka).

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…