Javite se

Razumjeti LLM od nule#10

Byte Pair Encoding (BPE) 1. dio: spajanje najčešćeg para

Tko određuje dijelove riječi (podriječi), i kako? Odgovor je jedan jednostavan potez: prebroji, pa spoji. Na ovoj stranici rastavljaš rečenicu na znakove, brojiš parove susjeda i vlastitim rukama spajaš parove.

  • POINT 1BPE kreće od znakova i broji koliko se puta pojavljuje svaki par susjeda.
  • POINT 2Najčešći par spaja se u jedan novi token. To je spajanje.
  • POINT 3Jedno spajanje dodaje jednu stavku u rječnik i skraćuje niz. Značenje pritom ne igra nikakvu ulogu.

TRY 1

Rastavi na znakove i prebroji parove

BPE kreće od znakova. Tekst rastavimo na pojedinačna slova, izvadimo sve parove susjeda i prebrojimo koliko se puta svaki par pojavljuje. Upiši bilo koji tekst i prebroji.

Primjeri:
  1. c
  2. v
  3. r
  4. č
  5. i
  6. c
  7. v
  8. r
  9. č
  10. i
  11. c
  12. v
  13. r
  14. č
  15. a
  16. k
  17. n
  18. a
  19. č
  20. v
  21. o
  22. r
  23. u
  24. c
  25. r
  26. n
  27. e
  28. s
  29. m
  30. r
  31. č
  32. e

32tokena (zasad po jedno slovo)

13vrsta

25parova

Iz 32 tokena dobivamo 25 parova. Prebrojimo koliko se puta svaki pojavljuje.

U tekstu s razmacima parovi se slažu samo unutar riječi (par nikad ne prelazi preko razmaka). Velika slova pretvaramo u mala. Parovi s istim brojem poredani su onim redom kojim se prvi put pojavljuju u tekstu.

TRY 2

Sam odaberi par i spoji ga

Sada ti biraš koji će se par spojiti. Pritisni „Spoji” u tablici i sva pojavljivanja tog para u tekstu spojit će se u jedan novi token. Usporedi koliko se niz skrati kad odabereš najčešći par, a koliko kad odabereš rijedak.

Primjeri:
  1. c
  2. v
  3. r
  4. č
  5. i
  6. c
  7. v
  8. r
  9. č
  10. i
  11. c
  12. v
  13. r
  14. č
  15. a
  16. k
  17. n
  18. a
  19. č
  20. v
  21. o
  22. r
  23. u
  24. c
  25. r
  26. n
  27. e
  28. s
  29. m
  30. r
  31. č
  32. e

32← 32tokena

13← 13rječnik (slova + spojeni tokeni)

0spajanja

Odaberi par u tablici i pritisni „Spoji”. U prvom je retku najčešći par.

Trenutačni parovi i njihovi brojevi (nakon svakog spajanja brojimo ispočetka)

  1. r+č4
  2. c+v3
  3. v+r3
  4. č+i2
  5. č+a1
  6. a+k1
  7. n+a1
  8. č+v1
  9. v+o1
  10. o+r1

Spajanje mijenja brojeve parova oko sebe. Neki parovi nestanu, a nastanu novi parovi koji sadrže novi token. Zato svaki put brojimo ispočetka. Spojeni token uvijek se može vratiti u svoja slova ako pravilo slijedimo unatrag.

TRY 3

Prvo česti ili prvo rijetki parovi?

Dvije strategije idu usporedno na istom tekstu. Lijevo je način BPE-a: uvijek spoji najčešći par. Desno: uvijek spoji najrjeđi par. Pritisni gumb i uspoređuj potez po potez.

Uvijek najčešći par32

  1. c
  2. v
  3. r
  4. č
  5. i
  6. c
  7. v
  8. r
  9. č
  10. i
  11. c
  12. v
  13. r
  14. č
  15. a
  16. k
  17. n
  18. a
  19. č
  20. v
  21. o
  22. r
  23. u
  24. c
  25. r
  26. n
  27. e
  28. s
  29. m
  30. r
  31. č
  32. e

Uvijek najrjeđi par32

  1. c
  2. v
  3. r
  4. č
  5. i
  6. c
  7. v
  8. r
  9. č
  10. i
  11. c
  12. v
  13. r
  14. č
  15. a
  16. k
  17. n
  18. a
  19. č
  20. v
  21. o
  22. r
  23. u
  24. c
  25. r
  26. n
  27. e
  28. s
  29. m
  30. r
  31. č
  32. e

Obje strategije počinju s 32 tokena. Napravi jedan potez.

U obje strategije svako spajanje dodaje jednu stavku u rječnik. Za istu veličinu rječnika želimo što kraći niz. Zato BPE bira najčešći par.

TRY 4

Stvarni rječnik i bajtovi ispod znakova

Uzmimo rečenicu iz videa. Usporedi ono što dobiješ brojanjem samo te rečenice i uzastopnim spajanjem s onim kako je reže rječnik stvarnog modela. Zatim pogledaj i taj „byte” u nazivu BPE-a.

Brojeći samo ovu rečenicu, uz 1 spajanja najčešćeg para: 28 tokena

  1. c
  2. v
  3. rč
  4. i
  5. c
  6. v
  7. rč
  8. i
  9. c
  10. v
  11. rč
  12. a
  13. k
  14. n
  15. a
  16. č
  17. v
  18. o
  19. r
  20. u
  21. c
  22. r
  23. n
  24. e
  25. s
  26. m
  27. rč
  28. e

Izrezano rječnikom stvarnog modela (Gemma 3 4B (Q4_K_M, llama.cpp)): 18 tokena (mali brojevi su ID-ovi tokena)

  1. c236755
  2. vr14313
  3. či22035
  4. cv10137
  5. r236750
  6. či22035
  7. cv10137
  8. r236750
  9. čak228987
  10. na1784
  11. č7282
  12. vor13495
  13. u236756
  14. cr1976
  15. ne866
  16. sm1406
  17. r236750
  18. če29115

Od 32 slova nakon 1 spajanja samo na ovoj rečenici ostaje 28 tokena. Sa stvarnim rječnikom: 18 tokena.

Rječnik stvarnog modela ima 262.144 stavki. Spojene su kombinacije koje su česte u svijetu. Kako rječnik raste kroz mnogo spajanja, tema je sljedeće epizode.

  1. r72
  2. čC4 8D
  3. 🐔F0 9F 90 94

Znakova: 3. Bajtova: 7.

Različitih bajtova ima samo 256 (od 00 do FF). Englesko slovo je 1 bajt, slovo poput č ili š 2 bajta, japanski znak 3, a emoji 4 (pravilo UTF-8). BPE je nastao kao tehnika sažimanja koja spaja parove bajtova, a GPT-ov tokenizator kreće od bajtova, ne od znakova. Tako se svaki znak uvijek može zapisati.

CHECK

Provjeri se

Tri pitanja o onome što je pokazala ova epizoda.

Q1Kako BPE bira sljedeći par za spajanje?

Q2Što radi jedno spajanje?

Q3Zašto nakon spajanja parove brojimo ponovno?

Brojeve parova i spajanja na ovoj stranici računa tvoj preglednik, na licu mjesta. Stvarni tokeni i ID-ovi tokena unaprijed su preuzeti iz tokenizatora jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp), rječnik od 262.144 redaka). Ništa se ne šalje na poslužitelj.