Tokenizator: kodiranje i dekodiranje teksta u ID-ove tokena
U prošlim smo epizodama brojanjem teksta napravili pravila spajanja i rječnik. Sad ih koristimo. Rečenica koju upišeš odmah se reže na tokene, pretvara u ID-ove tokena i vraća u izvornu rečenicu.
- POINT 1Kodiranje: rastavi na slova, primijeni pravila spajanja redom kojim su naučena i potraži komade u tablici rječnika. Ne uzima se najdulji komad prvi.
- POINT 2Dekodiranje: potraži svaki ID, izvadi komad i spoji. Pravila ne trebaju.
- POINT 3Pravi tokenizator znak kojeg nema u tablici rastavi na bajtove. Zato se svaki tekst uvijek točno vraća.
TRY 1
Tokeni dok tipkaš
Mali tokenizator iz videa radi unutar ove stranice. Upiši rečenicu: pravila se odmah primjenjuju i rečenica se reže na obojene tokene. Mali broj ispod svakog komada je njegov ID tokena.
- dijete26
- vo22
- li23
- m1
- l7
- ije21
- k4
- o6
17slova
8tokena
0nepoznato (ID 0)
17 slova postalo je 8 tokena, a dekodiranje vraća točno isti tekst.
Što je u ovom tokenizatoru (možeš ga ponovno naučiti)
Trenutačni tokenizator: 7 pravila spajanja, 27 redaka rječnika (ID 0 + 19 slova + komadi iz pravila).
- 1j + e → je5× u učenju
- 2i + je → ije3× u učenju
- 3v + o → vo2× u učenju
- 4l + i → li2× u učenju
- 5d + ije → dije2× u učenju
- 6dije + t → dijet2× u učenju
- 7dijet + e → dijete2× u učenju
Učenje ide kao prošli put: spajaj najčešći par susjeda, iznova i iznova, dok se nijedan par ne pojavi dvaput (izjednačeno: prvi pronađeni par). Parovi se broje samo unutar riječi; velika slova i interpunkcija se uklanjaju.
Ovaj tokenizator zna samo slova iz svog teksta za učenje. Probaj slovo koje nikad nije vidio.
TRY 2
Pravila jedno po jedno, redom
Polako gledamo kodiranje. Nakon rastavljanja na slova, pravila se primjenjuju od prvog, jedno po jedno. Ako pravilo ništa ne pronađe, samo idemo dalje.
- d
- i
- j
- e
- t
- e
- v
- o
- l
- i
- m
- l
- i
- j
- e
- k
- o
Rastavljeno na 17 slova. Sad se 7 pravila primjenjuje redom.
- 1j + e → je
- 2i + je → ije
- 3v + o → vo
- 4l + i → li
- 5d + ije → dije
- 6dije + t → dijet
- 7dijet + e → dijete
Usporedi s drugom idejom na istoj tablici: slijeva uvijek uzmi najdulji komad.
Pravila redom8
- dijete
- vo
- li
- m
- l
- ije
- k
- o
Najdulji slijeva8
- dijete
- vo
- li
- m
- li
- je
- k
- o
Ista tablica, drugačiji rez. Model je učio na tokenima izrezanima primjenom pravila redom, pa i kodiranje mora slijediti isti postupak.
Redoslijed pravila točno je redoslijed kojim je učenje spajalo parove. Promijeni redoslijed i ista rečenica može dati druge tokene.
TRY 3
Pravi Gemmin tokenizator
Sad isto s tokenizatorom jezičnog modela koji koristimo u seriji. Od susjeda koje može spojiti, Gemma najprije spaja komad s najmanjim brojem (ID tokena). Što je komad ranije nastao, to mu je broj manji, pa je redoslijed brojeva redoslijed pravila.
U pravom modelu (Gemma 3 4B (Q4_K_M, llama.cpp)) ovo daje 11 ID-ova tokena.
- Token7211
- iz685
- ator1277
- ▁kod39438
- ira4651
- ▁i858
- ▁dek45413
- od590
- ira4651
- ▁tekst69176
- .236761
Gledaj kako se „▁dekodira” spaja, spajanje po spajanje.
- ▁
- d
- e
- k
- o
- d
- i
- r
- a
- ▁d 513
- de 893
- ek 1129
- ko 3799
- od 590
- di 5035
- ir 583
- ra 601
Spajanje 1: parova koji se mogu spojiti ima 8. Spaja se onaj s najmanjim brojem, „▁d” (513).
Ne uzima se najdulji komad slijeva. Spaja se redom brojeva (naučenim redom), pa rezultat može biti drugačiji.
Oznaka razmaka: Gemma čuva razmak kao dio komada (oznaka ▁). Dekodiranje oznaku najprije vrati u razmak, pa spaja.
- kod70872
- ira4651
- ▁dek45413
- od590
- ira4651
“dekodiranje”3
- dek49837
- od590
- iranje85484
“▁dekodiranje”3
- ▁dek45413
- od590
- iranje85484
Razmak ispred daje drugi token.
- F0<0xF0>ID 478
- 9F<0x9F>ID 397
- A6<0xA6>ID 404
- A9<0xA9>ID 407
Svi su bajtovi tu (4): „🦩” se vratio.
Gemmina tablica ima mjesto za svaku od 256 vrijednosti bajta (ID-ovi tokena 238 do 493). Znak kojeg nema u tablici rastavi se na te bajtne tokene. „🦩” iz videa u Gemmi je postao 478, 397, 404, 407. Brojevi ovdje su bajtni tokeni koji se koriste kad znaka nema u tablici (česti znakovi obično imaju vlastiti token).
Kodiraj, pa dekodiraj (provjereno na pravom modelu; broj lijevo je broj tokena)
- 11Tokenizator kodira i dekodira tekst.✓
- 16Vidio sam 🦩 u zoološkom vrtu.✓
- 12Košta 42,50 €, zar ne?✓
- 10Dekodiranje je obrnuto kodiranje.✓
- 9Hrvatska čokolada je fina.✓
I s brojevima, simbolima i emojijima svaka se rečenica vratila bez ijednog promijenjenog znaka. Da se uvijek točno vrati, ključno je svojstvo tokenizatora.
CHECK
Brza provjera
Tri pitanja o onome što smo danas naučili.
Q1Kad gotov tokenizator kodira novu rečenicu, kako koristi pravila spajanja?
Q2Što treba dekodiranju (ID-ovi natrag u tekst)?
Q3Što se događa sa znakom kojeg nema u Gemminoj tablici (rijedak znak ili emoji)?
NEXT #13
Zašto broj tokena ovisi o jeziku: usporedba tokenizacije u LLM-u
Sljedeći put: zašto isti sadržaj na japanskom i na engleskom može imati vrlo različit broj tokena.
Učenje, kodiranje i dekodiranje malim tokenizatorom računa tvoj preglednik na licu mjesta. Pravi tokeni i ID-ovi tokena unaprijed su preuzeti iz tokenizatora jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp), rječnik od 262.144 redaka).
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…