Zašto broj tokena ovisi o jeziku: usporedba tokenizacije u LLM-u
Kaže se da japanski treba više tokena od engleskog. Je li to istina? Na ovoj stranici isti tekst režeš na različitim jezicima i različitim tokenizatorima, brojiš tokene i otkrivaš odakle dolazi razlika.
- POINT 1Isti sadržaj može imati vrlo različit broj tokena, ovisno o jeziku i tokenizatoru.
- POINT 2Rječnik ovisi o tekstu na kojem je prebrojen: što se jezik više brojao, to su mu komadi duži.
- POINT 3Broj tokena određuje cijenu, koliko stane odjednom i koliko se brzo piše.
TRY 1
Izreži isti tekst na dva jezika
Isti tekst na dva jezika, jedan uz drugi. Gumbima iznad teksta biraš jezike, a prekidačem tokenizator: mijenjaju se obojeni tokeni i njihov broj. Mali sivi kvadratići komadići su bajtova (heksadecimalno), a ne cijeli znakovi.
hrvatski171 znakova · 176 bajtova53
- Ju
- č
- er
- ␣sam
- ␣s
- ␣prijatel
- jem
- ␣ru
- č
- ao
- ␣u
- ␣mal
- om
- ␣restor
- anu
- ␣bl
- izu
- ␣stan
- ice
- .
- ␣Hr
- ana
- ␣je
- ␣bila
- ␣jako
- ␣dobra
- ,
- ␣a
- ␣cij
- ene
- ␣su
- ␣bile
- ␣n
- iske
- .
- ␣Dog
- ovor
- ili
- ␣smo
- ␣se
- ␣da
- ␣ćemo
- ␣id
- u
- ći
- ␣t
- jed
- an
- ␣opet
- ␣zajedno
- ␣oti
- ći
- .
engleski174 znakova · 174 bajtova37
- Yesterday
- ␣I
- ␣had
- ␣lunch
- ␣with
- ␣a
- ␣friend
- ␣at
- ␣a
- ␣small
- ␣restaurant
- ␣near
- ␣the
- ␣station
- .
- ␣The
- ␣food
- ␣was
- ␣very
- ␣good
- ,
- ␣and
- ␣the
- ␣prices
- ␣were
- ␣low
- .
- ␣We
- ␣promised
- ␣to
- ␣go
- ␣there
- ␣together
- ␣again
- ␣next
- ␣week
- .
Gemma 3 (2025.): hrvatski 53 tokena, engleski 37. Omjer hrvatski : engleski = 1,43.
Tokeni su jednom izvađeni iz stvarnih tokenizatora (Gemma 3 4B i GPT-2) i spremljeni u ovu stranicu. Prijevode je napravio tim produkcije; svi jezici kažu isto.
TRY 2
Usporedi 12 jezika
Isti tekst na 12 jezika, od najmanje do najviše tokena. Prebacuj između GPT-2 i Gemme i pogledaj koliko se koji jezik mijenja.
- engleski37
- španjolski60
- francuski70
- hrvatski77
- njemački81
- japanski95
- kineski97
- arapski139
- korejski159
- ruski186
- hindski240
- tajlandski252
S tokenizatorom GPT-2 (2019.) najviše treba tajlandski: 252 tokena, 6,8 puta više od engleskog (37 tokena).
Rječnik GPT-2 ima 50.257 stavki, a samo 127 sadrži kanu. Napravljen je od engleskih web-stranica, pa se drugi jezici raspadaju na male komadiće ili bajtove. Gemmin rječnik ima 262.144 stavki, a 4.886 sadrži kanu.
TRY 3
Promijeni omjer brojanog teksta i nauči BPE
40 rečenica koje koristimo od 4. epizode (japanski, engleski, hrvatski) stavljamo zajedno i učimo rječnik BPE-om koji kreće od znakova. Klizačima određuješ koliko se puta broji svaki jezik i koliko se spajanja napravi. Učenje se odvija u tvom pregledniku.
Koliko se puta broji svaki jezik (0 = ne broji se)
210← 339japanski, 40 rečenica (tokeni ← znakovi)
372← 986engleski, 40 rečenica (tokeni ← znakovi)
343← 725hrvatski, 40 rečenica (tokeni ← znakovi)
30/ 150spajanja japanskih znakova
40 rečenica sada ima 210 tokena na japanskom, 372 na engleskom i 343 na hrvatskom. Od 150 spajanja 30 je spojilo japanske znakove.
- mačka
- se
- bu
- d
- i
- ra
- no
- ujutro
8 tokena
Ovo je pokus iz videa. Kad se engleski broji četiri puta, japanske rečenice imaju 276 tokena; kad se japanski broji četiri puta, 136 (150 spajanja). Kod izjednačenja pobjeđuje prvi pronađeni par. Engleski i hrvatski pišu se malim slovima, a parovi se slažu samo unutar riječi.
CHECK
Brza provjera
Tri pitanja o onome što smo otkrili.
Q1Zašto je japanski s GPT-2 trebao više nego dvostruko više tokena od engleskog?
Q2Učiš s većim udjelom japanskog u brojanom tekstu. Što se događa?
Q3Model odjednom čita isti broj tokena. Za jezik koji treba više tokena…
NEXT #14
Posebni tokeni i predlošci razgovora: kako LLM čita razgovor
Sljedeće: posebne oznake skrivene u nizu tokena, posebni tokeni i predlošci razgovora. Gledamo kako razgovor izgleda unutar modela.
Tokeni na ovoj stranici jednom su izvađeni iz tokenizatora modela Gemma 3 4B (Q4_K_M, llama.cpp) i GPT-2 (tiktoken gpt2, 50,257). Učenje BPE-a računa se u tvom pregledniku. Ništa se ne šalje na poslužitelj.