Javite se

Razumjeti LLM od nule#13

Zašto broj tokena ovisi o jeziku: usporedba tokenizacije u LLM-u

Kaže se da japanski treba više tokena od engleskog. Je li to istina? Na ovoj stranici isti tekst režeš na različitim jezicima i različitim tokenizatorima, brojiš tokene i otkrivaš odakle dolazi razlika.

  • POINT 1Isti sadržaj može imati vrlo različit broj tokena, ovisno o jeziku i tokenizatoru.
  • POINT 2Rječnik ovisi o tekstu na kojem je prebrojen: što se jezik više brojao, to su mu komadi duži.
  • POINT 3Broj tokena određuje cijenu, koliko stane odjednom i koliko se brzo piše.
Video uskoro stižeKad bude objavljen, moći ćeš ga gledati ovdje.

TRY 1

Izreži isti tekst na dva jezika

Isti tekst na dva jezika, jedan uz drugi. Gumbima iznad teksta biraš jezike, a prekidačem tokenizator: mijenjaju se obojeni tokeni i njihov broj. Mali sivi kvadratići komadići su bajtova (heksadecimalno), a ne cijeli znakovi.

Tekst:

hrvatski171 znakova · 176 bajtova53

  1. Ju
  2. č
  3. er
  4. ␣sam
  5. ␣s
  6. ␣prijatel
  7. jem
  8. ␣ru
  9. č
  10. ao
  11. ␣u
  12. ␣mal
  13. om
  14. ␣restor
  15. anu
  16. ␣bl
  17. izu
  18. ␣stan
  19. ice
  20. .
  21. ␣Hr
  22. ana
  23. ␣je
  24. ␣bila
  25. ␣jako
  26. ␣dobra
  27. ,
  28. ␣a
  29. ␣cij
  30. ene
  31. ␣su
  32. ␣bile
  33. ␣n
  34. iske
  35. .
  36. ␣Dog
  37. ovor
  38. ili
  39. ␣smo
  40. ␣se
  41. ␣da
  42. ␣ćemo
  43. ␣id
  44. u
  45. ći
  46. ␣t
  47. jed
  48. an
  49. ␣opet
  50. ␣zajedno
  51. ␣oti
  52. ći
  53. .

engleski174 znakova · 174 bajtova37

  1. Yesterday
  2. ␣I
  3. ␣had
  4. ␣lunch
  5. ␣with
  6. ␣a
  7. ␣friend
  8. ␣at
  9. ␣a
  10. ␣small
  11. ␣restaurant
  12. ␣near
  13. ␣the
  14. ␣station
  15. .
  16. ␣The
  17. ␣food
  18. ␣was
  19. ␣very
  20. ␣good
  21. ,
  22. ␣and
  23. ␣the
  24. ␣prices
  25. ␣were
  26. ␣low
  27. .
  28. ␣We
  29. ␣promised
  30. ␣to
  31. ␣go
  32. ␣there
  33. ␣together
  34. ␣again
  35. ␣next
  36. ␣week
  37. .

Gemma 3 (2025.): hrvatski 53 tokena, engleski 37. Omjer hrvatski : engleski = 1,43.

Tokeni su jednom izvađeni iz stvarnih tokenizatora (Gemma 3 4B i GPT-2) i spremljeni u ovu stranicu. Prijevode je napravio tim produkcije; svi jezici kažu isto.

TRY 2

Usporedi 12 jezika

Isti tekst na 12 jezika, od najmanje do najviše tokena. Prebacuj između GPT-2 i Gemme i pogledaj koliko se koji jezik mijenja.

Tekst:
  • engleski37
  • španjolski60
  • francuski70
  • hrvatski77
  • njemački81
  • japanski95
  • kineski97
  • arapski139
  • korejski159
  • ruski186
  • hindski240
  • tajlandski252

S tokenizatorom GPT-2 (2019.) najviše treba tajlandski: 252 tokena, 6,8 puta više od engleskog (37 tokena).

Rječnik GPT-2 ima 50.257 stavki, a samo 127 sadrži kanu. Napravljen je od engleskih web-stranica, pa se drugi jezici raspadaju na male komadiće ili bajtove. Gemmin rječnik ima 262.144 stavki, a 4.886 sadrži kanu.

TRY 3

Promijeni omjer brojanog teksta i nauči BPE

40 rečenica koje koristimo od 4. epizode (japanski, engleski, hrvatski) stavljamo zajedno i učimo rječnik BPE-om koji kreće od znakova. Klizačima određuješ koliko se puta broji svaki jezik i koliko se spajanja napravi. Učenje se odvija u tvom pregledniku.

Koliko se puta broji svaki jezik (0 = ne broji se)

210← 339japanski, 40 rečenica (tokeni ← znakovi)

372← 986engleski, 40 rečenica (tokeni ← znakovi)

343← 725hrvatski, 40 rečenica (tokeni ← znakovi)

30/ 150spajanja japanskih znakova

40 rečenica sada ima 210 tokena na japanskom, 372 na engleskom i 343 na hrvatskom. Od 150 spajanja 30 je spojilo japanske znakove.

Iz 40 rečenica:
  1. mačka
  2. se
  3. bu
  4. d
  5. i
  6. ra
  7. no
  8. ujutro

8 tokena

Ovo je pokus iz videa. Kad se engleski broji četiri puta, japanske rečenice imaju 276 tokena; kad se japanski broji četiri puta, 136 (150 spajanja). Kod izjednačenja pobjeđuje prvi pronađeni par. Engleski i hrvatski pišu se malim slovima, a parovi se slažu samo unutar riječi.

CHECK

Brza provjera

Tri pitanja o onome što smo otkrili.

Q1Zašto je japanski s GPT-2 trebao više nego dvostruko više tokena od engleskog?

Q2Učiš s većim udjelom japanskog u brojanom tekstu. Što se događa?

Q3Model odjednom čita isti broj tokena. Za jezik koji treba više tokena…

Tokeni na ovoj stranici jednom su izvađeni iz tokenizatora modela Gemma 3 4B (Q4_K_M, llama.cpp) i GPT-2 (tiktoken gpt2, 50,257). Učenje BPE-a računa se u tvom pregledniku. Ništa se ne šalje na poslužitelj.