Javite se

Razumjeti LLM od nule#9

Što je tokenizacija? Znakovi, riječi i podriječi

Prije nego što LLM pročita rečenicu, izreže je na tokene. Jedinicu možemo odabrati na tri načina: znakovi, riječi i podriječi. Na ovoj stranici istu rečenicu režeš na sva tri načina, uspoređuješ brojeve i sam provjeravaš što se dogodi kad je tablica riječi premala. Rezanje na podriječi je ono koje koristi stvarni model.

  • POINT 1Rezanje na znakove: tablica je mala, ali je niz dugačak, a jedan znak ne znači gotovo ništa.
  • POINT 2Rezanje na riječi: niz je kratak, ali tablica nikad ne prestaje rasti, a riječ koje nema u tablici postaje „nepoznata riječ“.
  • POINT 3Podriječi česte riječi ostavljaju cijele, a rijetke dijele na komadiće. Nepoznatih riječi nema.

TRY 1

Ista rečenica, izrezana na tri načina

Odaberi rečenicu i mijenjaj način rezanja. Kako se broj tokena mijenja sa znakovima, riječima i podriječima? Rezanje na podriječi je ono koje stvarni model (Gemma 3 4B) doista koristi. Možeš upisati i vlastitu rečenicu i izrezati je na znakove i na riječi.

Odaberi rečenicu:
  1. T
  2. o
  3. k
  4. e
  5. n
  6. i
  7. z
  8. a
  9. c
  10. i
  11. j
  12. a
  13. ␣
  14. r
  15. e
  16. ž
  17. e
  18. ␣
  19. t
  20. e
  21. k
  22. s
  23. t
  24. ␣
  25. n
  26. a
  27. ␣
  28. m
  29. a
  30. l
  31. e
  32. ␣
  33. d
  34. i
  35. j
  36. e
  37. l
  38. o
  39. v
  40. e
  41. .

Rezanje na znakove: 41 tokena. Jedan znak je jedan token. Broje se i razmaci i interpunkcija.

Riječi pripremljenih rečenica izrezane su na isti način kao u videu (na razmacima i interpunkciji; za japanski pomoću rječnika). Vlastitu rečenicu na riječi reže alat ugrađen u tvoj preglednik, pa se rezultat može malo razlikovati. Ono što upišeš ne šalje se nikamo.

TRY 2

Promijeni veličinu tablice riječi

Od jedne smo knjige napravili tablicu riječi: sve njezine riječi, od najčešće prema rjeđima. Klizačem biraš koliko se redaka tablice koristi, brojeći od vrha. Svaka riječ koje nema u tablici postaje [UNK], nepoznata riječ. Primijeti da kod nekih rečenica [UNK] ne nestaje, koliko god tablicu povećao.

Odaberi rečenicu:
redaka: 9.707
  1. [UNK]Gledam
  2. [UNK]video
  3. na#9
  4. [UNK]mobitelu
  5. .#2

Čak i kad su u tablici sve riječi knjige „Priče iz davnine“ (redaka: 9.707), [UNK] ostaje ovoliko riječi: 3. One se u toj knjizi nijednom ne pojavljuju.

Riječi 9.707Znakovi 65pročitane riječi (ukupno 54.466) →

Broj različitih znakova i riječi tijekom čitanja knjige „Priče iz davnine“ (Ivana Brlić-Mažuranić). Znakovi se zaustave na 65, a riječi rastu sve do 9.707; čak i u posljednjoj desetini knjige pojavljuju se nove riječi (njih 741). Od svih tih riječi njih 5.798 (60 %) pojavljuje se u cijeloj knjizi samo jednom. Narančasta isprekidana crta je veličina tablice koju si odabrao.

Broj retka (#) pokazuje koliko je riječ česta u knjizi: #1 je najčešća. I interpunkcijski znakovi broje se kao riječi.

TRY 3

Podriječi: cijele riječi, komadići, nove riječi

Odaberi riječ i pogledaj kako je stvarni model reže. Česta riječ je jedan token. Rijetka riječ, riječ koja je nastala nedavno ili izmišljena riječ dijeli se na komadiće koji postoje u tablici. Broj ispod svakog komadića je njegov ID tokena.

Nema je u tablici:
Česte riječi:
Riječi sličnog oblika:
Nove riječi i jedna izmišljena:
  1. Token#7.211
  2. iz#685
  3. acija#43.318

„Tokenizacija“ se dijeli na komadiće (ukupno 3). Svaki komadić postoji u tablici, pa nikad ne postaje „nepoznata riječ“.

Tablica ovog modela ima 262.144 redaka. Od toga su 19.225 tokeni od samo jednog znaka, a 236.249 komadići ili riječi od dva ili više znakova. Zato se svaka riječ može zapisati: na kraju se uvijek može podijeliti na pojedine znakove.

Dodatak: „koliko je ovog slova?“ za 20 riječi (točno 11 od 20)

Modelu smo za dvadeset riječi postavili pitanja oblika „Koliko se puta slovo r pojavljuje u riječi strawberry?“ (na engleskom). Model ne vidi slova, nego brojeve tokena, pa ne može izravno brojiti slova u riječi. To je jedan od razloga za pogreške.

riječslovotočnoodgovor modela
strawberryr33 ✓
bananaa33 ✓
mississippis44 ✓
committeee23 ✗
bookkeepere33 ✓
raspberryr33 ✓
parallell33 ✓
occurrencec33 ✓
assessments43 ✗
blueberryr22 ✓
coffeef21 ✗
lettert22 ✓
giraffef21 ✗
balloonl22 ✓
necessarys23 ✗
embarrassr23 ✗
tomorrowr22 ✓
hippopotamusp32 ✗
refrigeratorr43 ✗
successfulc23 ✗

Rezovi ne moraju pratiti značenje ni gramatiku. Određuje ih to koji se nizovi slova često pojavljuju u golemoj količini teksta. Kako se to određuje (BPE), tema je sljedeće epizode.

CHECK

Brza provjera

Tri pitanja o onome što si danas naučio.

Q1Koja je slabost rezanja na znakove?

Q2Što se dogodi s riječju koje nema u tablici riječi?

Q3Što vrijedi za rezanje na podriječi?

Rezanje na podriječi i ID-ovi tokena, veličina tablice i odgovori u pokusu s brojenjem slova dolaze iz stvarnog jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp)). Tablica riječi napravljena je brojenjem riječi knjige „Priče iz davnine“ (Ivana Brlić-Mažuranić). Sve je izračunato unaprijed, pa se ništa ne šalje na poslužitelj.