Što je tokenizacija? Znakovi, riječi i podriječi
Prije nego što LLM pročita rečenicu, izreže je na tokene. Jedinicu možemo odabrati na tri načina: znakovi, riječi i podriječi. Na ovoj stranici istu rečenicu režeš na sva tri načina, uspoređuješ brojeve i sam provjeravaš što se dogodi kad je tablica riječi premala. Rezanje na podriječi je ono koje koristi stvarni model.
- POINT 1Rezanje na znakove: tablica je mala, ali je niz dugačak, a jedan znak ne znači gotovo ništa.
- POINT 2Rezanje na riječi: niz je kratak, ali tablica nikad ne prestaje rasti, a riječ koje nema u tablici postaje „nepoznata riječ“.
- POINT 3Podriječi česte riječi ostavljaju cijele, a rijetke dijele na komadiće. Nepoznatih riječi nema.
TRY 1
Ista rečenica, izrezana na tri načina
Odaberi rečenicu i mijenjaj način rezanja. Kako se broj tokena mijenja sa znakovima, riječima i podriječima? Rezanje na podriječi je ono koje stvarni model (Gemma 3 4B) doista koristi. Možeš upisati i vlastitu rečenicu i izrezati je na znakove i na riječi.
- T
- o
- k
- e
- n
- i
- z
- a
- c
- i
- j
- a
- ␣
- r
- e
- ž
- e
- ␣
- t
- e
- k
- s
- t
- ␣
- n
- a
- ␣
- m
- a
- l
- e
- ␣
- d
- i
- j
- e
- l
- o
- v
- e
- .
Rezanje na znakove: 41 tokena. Jedan znak je jedan token. Broje se i razmaci i interpunkcija.
Riječi pripremljenih rečenica izrezane su na isti način kao u videu (na razmacima i interpunkciji; za japanski pomoću rječnika). Vlastitu rečenicu na riječi reže alat ugrađen u tvoj preglednik, pa se rezultat može malo razlikovati. Ono što upišeš ne šalje se nikamo.
TRY 2
Promijeni veličinu tablice riječi
Od jedne smo knjige napravili tablicu riječi: sve njezine riječi, od najčešće prema rjeđima. Klizačem biraš koliko se redaka tablice koristi, brojeći od vrha. Svaka riječ koje nema u tablici postaje [UNK], nepoznata riječ. Primijeti da kod nekih rečenica [UNK] ne nestaje, koliko god tablicu povećao.
- [UNK]Gledam
- [UNK]video
- na#9
- [UNK]mobitelu
- .#2
Čak i kad su u tablici sve riječi knjige „Priče iz davnine“ (redaka: 9.707), [UNK] ostaje ovoliko riječi: 3. One se u toj knjizi nijednom ne pojavljuju.
Broj različitih znakova i riječi tijekom čitanja knjige „Priče iz davnine“ (Ivana Brlić-Mažuranić). Znakovi se zaustave na 65, a riječi rastu sve do 9.707; čak i u posljednjoj desetini knjige pojavljuju se nove riječi (njih 741). Od svih tih riječi njih 5.798 (60 %) pojavljuje se u cijeloj knjizi samo jednom. Narančasta isprekidana crta je veličina tablice koju si odabrao.
Broj retka (#) pokazuje koliko je riječ česta u knjizi: #1 je najčešća. I interpunkcijski znakovi broje se kao riječi.
TRY 3
Podriječi: cijele riječi, komadići, nove riječi
Odaberi riječ i pogledaj kako je stvarni model reže. Česta riječ je jedan token. Rijetka riječ, riječ koja je nastala nedavno ili izmišljena riječ dijeli se na komadiće koji postoje u tablici. Broj ispod svakog komadića je njegov ID tokena.
- Token#7.211
- iz#685
- acija#43.318
„Tokenizacija“ se dijeli na komadiće (ukupno 3). Svaki komadić postoji u tablici, pa nikad ne postaje „nepoznata riječ“.
Tablica ovog modela ima 262.144 redaka. Od toga su 19.225 tokeni od samo jednog znaka, a 236.249 komadići ili riječi od dva ili više znakova. Zato se svaka riječ može zapisati: na kraju se uvijek može podijeliti na pojedine znakove.
Dodatak: „koliko je ovog slova?“ za 20 riječi (točno 11 od 20)
Modelu smo za dvadeset riječi postavili pitanja oblika „Koliko se puta slovo r pojavljuje u riječi strawberry?“ (na engleskom). Model ne vidi slova, nego brojeve tokena, pa ne može izravno brojiti slova u riječi. To je jedan od razloga za pogreške.
| riječ | slovo | točno | odgovor modela |
|---|---|---|---|
| strawberry | r | 3 | 3 ✓ |
| banana | a | 3 | 3 ✓ |
| mississippi | s | 4 | 4 ✓ |
| committee | e | 2 | 3 ✗ |
| bookkeeper | e | 3 | 3 ✓ |
| raspberry | r | 3 | 3 ✓ |
| parallel | l | 3 | 3 ✓ |
| occurrence | c | 3 | 3 ✓ |
| assessment | s | 4 | 3 ✗ |
| blueberry | r | 2 | 2 ✓ |
| coffee | f | 2 | 1 ✗ |
| letter | t | 2 | 2 ✓ |
| giraffe | f | 2 | 1 ✗ |
| balloon | l | 2 | 2 ✓ |
| necessary | s | 2 | 3 ✗ |
| embarrass | r | 2 | 3 ✗ |
| tomorrow | r | 2 | 2 ✓ |
| hippopotamus | p | 3 | 2 ✗ |
| refrigerator | r | 4 | 3 ✗ |
| successful | c | 2 | 3 ✗ |
Rezovi ne moraju pratiti značenje ni gramatiku. Određuje ih to koji se nizovi slova često pojavljuju u golemoj količini teksta. Kako se to određuje (BPE), tema je sljedeće epizode.
CHECK
Brza provjera
Tri pitanja o onome što si danas naučio.
Q1Koja je slabost rezanja na znakove?
Q2Što se dogodi s riječju koje nema u tablici riječi?
Q3Što vrijedi za rezanje na podriječi?
NEXT #10
Byte Pair Encoding (BPE) 1. dio: spajanje najčešćeg para
Sljedeći put: kako se ti komadići određuju? Ručno radimo prvi potez BPE-a (byte pair encoding): spajamo par susjeda koji se najčešće pojavljuje.
Rezanje na podriječi i ID-ovi tokena, veličina tablice i odgovori u pokusu s brojenjem slova dolaze iz stvarnog jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp)). Tablica riječi napravljena je brojenjem riječi knjige „Priče iz davnine“ (Ivana Brlić-Mažuranić). Sve je izračunato unaprijed, pa se ništa ne šalje na poslužitelj.