BPE 2. dio: učenje rječnika tokenizatora
Prošli put smo najčešći par spojili samo jednom. Ovaj put to ponavljamo do kraja. Prebroji, spoji, pa opet prebroji: samo toliko treba da nastane rječnik tokenizatora. Na ovoj stranici učiš tokenizator na vlastitom tekstu.
- POINT 1Učenje tokenizatora = prebroji parove, spoji najčešći, zapiši pravilo, i ponovi.
- POINT 2Veličina rječnika = početni znakovi + broj spajanja. Što se niz češće pojavljuje, to je vjerojatnije da postane jedan token.
- POINT 3Gdje stati (veličina rječnika) je postavka koju biraju ljudi. Gemmin rječnik ima 262.144 tokena (2 na 18.).
TRY 1
Uči rječnik na vlastitom tekstu
Tekst rastavi na pojedinačne znakove, prebroji parove, spoji najčešći i ponavljaj dok se nijedan par ne pojavljuje dvaput. Na početku je ovdje 40 rečenica koje serija koristi od 4. epizode. Zamijeni ih bilo kojim tekstom i gledaj kako rječnik raste.
725← 725Tokeni
24= 24 + 0Rječnik (znakovi + spajanja)
0Spajanja
Sada je svaki znak jedan token. Broj tokena: 725. Veličina rječnika (vrste znakova): 24. Pritisni „Spoji jednom” ili „Pokreni”.
- m
- a
- č
- k
- a
- s
- e
- b
- u
- d
- i
- r
- a
- n
- o
- u
- j
- u
- t
- r
- o
- m
- a
- č
- k
- a
- v
- o
- l
- i
- r
- i
- b
- u
- p
- a
- s
- v
- o
- l
- i
- m
- e
- s
- o
- p
- t
- i
- c
- a
- l
- e
- t
- i
- p
- o
- n
- e
- b
- u
- m
- a
- č
- k
- a
- g
- l
- e
- d
- a
- p
- t
- i
- c
- u
- s
- p
- r
- o
- z
- o
- r
- a
- p
- a
- s
- s
- e
- i
- g
- r
- a
- u
- v
- r
- t
- u
- d
- i
- j
- e
- t
- e
- s
- e
- i
- g
- r
- a
- s
- p
- s
- o
- m
- u
- v
- r
- t
- u
- m
- a
- j
- k
- a
- p
- e
- č
- e
- r
- i
- b
- u
- u
- k
- u
- h
- i
- n
- j
- i
- m
- a
- č
- k
- a
- č
- e
- k
- a
- r
- i
- b
- u
- u
- k
- u
- h
- i
- n
- j
- i
- o
- t
- a
- c
- r
- a
- n
- o
- u
- j
- u
- t
- r
- o
- i
- z
- l
- a
- z
- i
- i
- z
- k
- u
- ć
- e
- d
- i
- j
- e
- t
- e
- i
- d
- e
- u
- š
- k
- o
- l
- u
- p
- a
- s
- i
- d
- e
- u
- p
- a
- r
- k
- s
- o
- c
- e
- m
- u
- p
- a
- r
- k
- u
- j
- e
- v
- e
- l
- i
- k
- o
- d
- r
- v
- o
- p
- t
- i
- c
- a
- p
- j
- e
- v
- a
- n
- a
- d
- r
- v
- e
- t
- u
- m
- a
- č
- k
- a
- g
- l
- e
- d
- a
- p
- t
- i
- c
- u
- n
- a
- d
- r
- v
- e
- t
- u
- p
- a
- s
- p
- i
- j
- e
- v
- o
- d
- u
- m
- a
- č
- k
- a
- p
- i
- j
- e
- m
- l
- i
- j
- e
- k
- o
- d
- i
- j
- e
- t
- e
- v
- o
- l
- i
- m
- l
- i
- j
- e
- k
- o
- m
- a
- j
- k
- a
- s
- e
- b
- u
- d
- i
- r
- a
- n
- o
- u
- j
- u
- t
- r
- o
- o
- t
- a
- c
- s
- e
- k
- a
- s
- n
- o
- n
- a
- v
- e
- č
- e
- r
- v
- r
- a
- ć
- a
- k
- u
- ć
- i
- n
- a
- v
- e
- č
- e
- r
- m
- a
- č
- k
- a
- č
- e
- k
- a
- o
- c
- a
- p
- a
- s
- n
- o
- ć
- u
- s
- p
- a
- v
- a
- u
- v
- r
- t
- u
- m
- a
- č
- k
- a
- s
- p
- a
- v
- a
- u
- k
- u
- ć
- i
- d
- i
- j
- e
- t
- e
- s
- p
- a
- v
- a
- s
- m
- a
- č
- k
- o
- m
- u
- j
- u
- t
- r
- o
- p
- t
- i
- c
- a
- p
- j
- e
- v
- a
- u
- v
- r
- t
- u
- m
- a
- j
- k
- a
- u
- z
- g
- a
- j
- a
- c
- v
- i
- j
- e
- ć
- e
- u
- v
- r
- t
- u
- c
- v
- i
- j
- e
- ć
- e
- v
- o
- l
- i
- v
- o
- d
- u
- d
- i
- j
- e
- t
- e
- d
- a
- j
- e
- v
- o
- d
- u
- c
- v
- i
- j
- e
- ć
- u
- p
- a
- s
- j
- e
- d
- e
- v
- e
- l
- i
- k
- i
- k
- o
- m
- a
- d
- m
- e
- s
- a
- m
- a
- č
- k
- a
- j
- e
- d
- e
- m
- a
- l
- u
- r
- i
- b
- u
- p
- t
- i
- c
- a
- j
- e
- d
- e
- m
- a
- l
- u
- b
- u
- b
- u
- b
- u
- b
- a
- l
- e
- t
- i
- i
- z
- n
- a
- d
- c
- v
- i
- j
- e
- ć
- a
- m
- a
- č
- k
- a
- g
- l
- e
- d
- a
- b
- u
- b
- u
- o
- t
- a
- c
- s
- e
- i
- g
- r
- a
- s
- p
- s
- o
- m
- u
- p
- a
- r
- k
- u
- m
- a
- j
- k
- a
- i
- d
- e
- u
- š
- k
- o
- l
- u
- s
- d
- j
- e
- t
- e
- t
- o
- m
- u
- š
- k
- o
- l
- i
- j
- e
- v
- e
- l
- i
- k
- i
- v
- r
- t
- d
- i
- j
- e
- t
- e
- p
- j
- e
- v
- a
- u
- š
- k
- o
- l
- i
- p
- a
- s
- v
- o
- l
- i
- d
- i
- j
- e
- t
- e
- m
- a
- č
- k
- a
- v
- o
- l
- i
- m
- a
- j
- k
- u
- u
- k
- u
- ć
- i
- j
- e
- m
- a
- č
- k
- a
Velika slova pretvaraju se u mala. Kad su parovi izjednačeni, pobjeđuje onaj koji je prvi pronađen u tekstu. Narančasti okvir označava upravo nastali token.
TRY 2
Gdje stati? Biranje veličine rječnika
Odaberi veličinu rječnika za istih 40 rečenica. Što je veći, to je niz kraći, ali je i više tokena koji se u tekstu za učenje gotovo nikad ne koriste.
75= 24 + 51Veličina rječnika
353← 725Tokeni za 40 rečenica
10+ 7nikad korišteni + korišteni jednom
Uz veličinu rječnika 75, broj tokena za 40 rečenica je 353. Stavki koje se nikad ne koriste: 10; korištenih samo jednom: 7.
- mačka
- se
- bu
- d
- i
- rano
- ujutro
- mačka
- voli
- ribu
- pas
- voli
- m
- e
- so
- ptica
Rječnik (broj = koliko se puta koristi u 40 rečenica; precrtano = nikad)
- m9
- a11
- č0
- k3
- s11
- e8
- b1
- u24
- d11
- i21
- r8
- n3
- o8
- j3
- t5
- v1
- l3
- p10
- c5
- g7
- z6
- h2
- ć2
- š0
- je11
- ma3
- ka3
- ije4
- mač1
- pa6
- mačka12
- bu8
- li5
- vo4
- ku5
- ko5
- ra5
- ti2
- te1
- pas7
- tu2
- dije0
- dijete7
- ve7
- se6
- voli6
- pti0
- ptic2
- vr1
- de6
- va6
- no2
- ro1
- le5
- vrtu5
- maj1
- če5
- na5
- uj0
- uju0
- ujut0
- ujutro4
- ri0
- ribu4
- ptica4
- da4
- majka4
- kuć4
- ško4
- lu4
- cv0
- cvije0
- cvijeć4
- rano3
- so3
Gdje stati, postavka je koju ljudi biraju prije učenja. Premalen rječnik daje duge nizove; prevelik daje mnogo tokena koji se gotovo nikad ne pojavljuju, pa model vidi jedva koji primjer s njima.
TRY 3
Pravi rječnik: Gemmina 262.144 tokena
Rječnik modela koji koristimo u ovoj seriji pročitali smo izravno iz njegove datoteke i prebrojili. Pogledaj od čega se sastoji, kojim su redom stavke i kako se režu neke riječi.
Rječnik modela Gemma 3 4B (Q4_K_M, llama.cpp) ima 262.144 tokena.
| Spojeni komadi | 236.249 |
| Pojedinačni znakovi | 19.225 |
| Bajtovi (256) | 256 |
| Posebni simboli i sl. | 6.414 |
| Ukupno | 262.144 = 218 |
Stavke 494 do 506 rječnika (␣ = razmak)
| 494 | ␣t |
| 495 | in |
| 496 | ␣a |
| 497 | er |
| 498 | on |
| 499 | he |
| 500 | re |
| 501 | en |
| 502 | at |
| 503 | ␣s |
| 504 | or |
| 505 | ␣c |
| 506 | ␣the |
ID-ovi idu redom spajanja. Prvi su kratki nizovi česti u engleskom. Broj 506 je „␣the”.
Riječi izrezane pravim rječnikom (mali brojevi = ID-ovi tokena)
- je2185
- dijete223288
- škola222208
- naj13230
- nep151768
- rij11382
- at502
- nije87492
- pri2967
- jest36982
- ol551
- onas35455
- ljed137582
- nikov61315
- ica1614
- <E9>471
- <B6>420
- <BA>424
- <E9>471
- <B4>418
- <92>384
„je” je jedan token. Česte riječi nalaze se u rječniku u cijelosti.
Tokenizator se izrađuje prije modela i nakon toga je fiksan. Model zatim vježba pogađati sljedeći token, koristeći tokene ovog rječnika.
CHECK
Brza provjera
Tri pitanja o onome što je pokazala ova epizoda.
Q1Počinješ s 24 vrste znakova i spajaš 8 puta. Koliko je velik rječnik?
Q2Koji nizovi najlakše postaju jedan token?
Q3Tko određuje veličinu rječnika (gdje stati)?
NEXT #12
Tokenizator: kodiranje i dekodiranje teksta u ID-ove tokena
Sljedeći put gotovim rječnikom i njegovim pravilima pretvaramo tekst u niz ID-ova tokena (kodiranje) i ID-ove natrag u tekst (dekodiranje).
Spajanja i brojeve tokena na ovoj stranici tvoj preglednik računa na licu mjesta. Sastav, redoslijed i ID-ovi tokena pravog rječnika unaprijed su preuzeti iz datoteke i tokenizatora jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp), rječnik od 262.144 tokena). Ništa se ne šalje na poslužitelj.