Byte Pair Encoding (BPE) 1. dio: spajanje najčešćeg para
Tko određuje dijelove riječi (podriječi), i kako? Odgovor je jedan jednostavan potez: prebroji, pa spoji. Na ovoj stranici rastavljaš rečenicu na znakove, brojiš parove susjeda i vlastitim rukama spajaš parove.
- POINT 1BPE kreće od znakova i broji koliko se puta pojavljuje svaki par susjeda.
- POINT 2Najčešći par spaja se u jedan novi token. To je spajanje.
- POINT 3Jedno spajanje dodaje jednu stavku u rječnik i skraćuje niz. Značenje pritom ne igra nikakvu ulogu.
TRY 1
Rastavi na znakove i prebroji parove
BPE kreće od znakova. Tekst rastavimo na pojedinačna slova, izvadimo sve parove susjeda i prebrojimo koliko se puta svaki par pojavljuje. Upiši bilo koji tekst i prebroji.
- c
- v
- r
- č
- i
- c
- v
- r
- č
- i
- c
- v
- r
- č
- a
- k
- n
- a
- č
- v
- o
- r
- u
- c
- r
- n
- e
- s
- m
- r
- č
- e
32tokena (zasad po jedno slovo)
13vrsta
25parova
Iz 32 tokena dobivamo 25 parova. Prebrojimo koliko se puta svaki pojavljuje.
U tekstu s razmacima parovi se slažu samo unutar riječi (par nikad ne prelazi preko razmaka). Velika slova pretvaramo u mala. Parovi s istim brojem poredani su onim redom kojim se prvi put pojavljuju u tekstu.
TRY 2
Sam odaberi par i spoji ga
Sada ti biraš koji će se par spojiti. Pritisni „Spoji” u tablici i sva pojavljivanja tog para u tekstu spojit će se u jedan novi token. Usporedi koliko se niz skrati kad odabereš najčešći par, a koliko kad odabereš rijedak.
- c
- v
- r
- č
- i
- c
- v
- r
- č
- i
- c
- v
- r
- č
- a
- k
- n
- a
- č
- v
- o
- r
- u
- c
- r
- n
- e
- s
- m
- r
- č
- e
32← 32tokena
13← 13rječnik (slova + spojeni tokeni)
0spajanja
Odaberi par u tablici i pritisni „Spoji”. U prvom je retku najčešći par.
Trenutačni parovi i njihovi brojevi (nakon svakog spajanja brojimo ispočetka)
- r+č4
- c+v3
- v+r3
- č+i2
- č+a1
- a+k1
- n+a1
- č+v1
- v+o1
- o+r1
Spajanje mijenja brojeve parova oko sebe. Neki parovi nestanu, a nastanu novi parovi koji sadrže novi token. Zato svaki put brojimo ispočetka. Spojeni token uvijek se može vratiti u svoja slova ako pravilo slijedimo unatrag.
TRY 3
Prvo česti ili prvo rijetki parovi?
Dvije strategije idu usporedno na istom tekstu. Lijevo je način BPE-a: uvijek spoji najčešći par. Desno: uvijek spoji najrjeđi par. Pritisni gumb i uspoređuj potez po potez.
Uvijek najčešći par32
- c
- v
- r
- č
- i
- c
- v
- r
- č
- i
- c
- v
- r
- č
- a
- k
- n
- a
- č
- v
- o
- r
- u
- c
- r
- n
- e
- s
- m
- r
- č
- e
Uvijek najrjeđi par32
- c
- v
- r
- č
- i
- c
- v
- r
- č
- i
- c
- v
- r
- č
- a
- k
- n
- a
- č
- v
- o
- r
- u
- c
- r
- n
- e
- s
- m
- r
- č
- e
Obje strategije počinju s 32 tokena. Napravi jedan potez.
U obje strategije svako spajanje dodaje jednu stavku u rječnik. Za istu veličinu rječnika želimo što kraći niz. Zato BPE bira najčešći par.
TRY 4
Stvarni rječnik i bajtovi ispod znakova
Uzmimo rečenicu iz videa. Usporedi ono što dobiješ brojanjem samo te rečenice i uzastopnim spajanjem s onim kako je reže rječnik stvarnog modela. Zatim pogledaj i taj „byte” u nazivu BPE-a.
Brojeći samo ovu rečenicu, uz 1 spajanja najčešćeg para: 28 tokena
- c
- v
- rč
- i
- c
- v
- rč
- i
- c
- v
- rč
- a
- k
- n
- a
- č
- v
- o
- r
- u
- c
- r
- n
- e
- s
- m
- rč
- e
Izrezano rječnikom stvarnog modela (Gemma 3 4B (Q4_K_M, llama.cpp)): 18 tokena (mali brojevi su ID-ovi tokena)
- c236755
- vr14313
- či22035
- cv10137
- r236750
- či22035
- cv10137
- r236750
- čak228987
- na1784
- č7282
- vor13495
- u236756
- cr1976
- ne866
- sm1406
- r236750
- če29115
Od 32 slova nakon 1 spajanja samo na ovoj rečenici ostaje 28 tokena. Sa stvarnim rječnikom: 18 tokena.
Rječnik stvarnog modela ima 262.144 stavki. Spojene su kombinacije koje su česte u svijetu. Kako rječnik raste kroz mnogo spajanja, tema je sljedeće epizode.
- r72
- čC4 8D
- 🐔F0 9F 90 94
Znakova: 3. Bajtova: 7.
Različitih bajtova ima samo 256 (od 00 do FF). Englesko slovo je 1 bajt, slovo poput č ili š 2 bajta, japanski znak 3, a emoji 4 (pravilo UTF-8). BPE je nastao kao tehnika sažimanja koja spaja parove bajtova, a GPT-ov tokenizator kreće od bajtova, ne od znakova. Tako se svaki znak uvijek može zapisati.
CHECK
Provjeri se
Tri pitanja o onome što je pokazala ova epizoda.
Q1Kako BPE bira sljedeći par za spajanje?
Q2Što radi jedno spajanje?
Q3Zašto nakon spajanja parove brojimo ponovno?
NEXT #11
BPE 2. dio: učenje rječnika tokenizatora
Sljedeći put to spajanje ponavljamo iznova i iznova i gledamo kako rječnik koji je počeo od pojedinačnih znakova raste u rječnik tokenizatora.
Brojeve parova i spajanja na ovoj stranici računa tvoj preglednik, na licu mjesta. Stvarni tokeni i ID-ovi tokena unaprijed su preuzeti iz tokenizatora jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp), rječnik od 262.144 redaka). Ništa se ne šalje na poslužitelj.