Javite se

Razumjeti LLM od nule#11

BPE 2. dio: učenje rječnika tokenizatora

Prošli put smo najčešći par spojili samo jednom. Ovaj put to ponavljamo do kraja. Prebroji, spoji, pa opet prebroji: samo toliko treba da nastane rječnik tokenizatora. Na ovoj stranici učiš tokenizator na vlastitom tekstu.

  • POINT 1Učenje tokenizatora = prebroji parove, spoji najčešći, zapiši pravilo, i ponovi.
  • POINT 2Veličina rječnika = početni znakovi + broj spajanja. Što se niz češće pojavljuje, to je vjerojatnije da postane jedan token.
  • POINT 3Gdje stati (veličina rječnika) je postavka koju biraju ljudi. Gemmin rječnik ima 262.144 tokena (2 na 18.).
Video uskoro stižeKad bude objavljen, moći ćeš ga gledati ovdje.

TRY 1

Uči rječnik na vlastitom tekstu

Tekst rastavi na pojedinačne znakove, prebroji parove, spoji najčešći i ponavljaj dok se nijedan par ne pojavljuje dvaput. Na početku je ovdje 40 rečenica koje serija koristi od 4. epizode. Zamijeni ih bilo kojim tekstom i gledaj kako rječnik raste.

Tekst:
0 / 102

725← 725Tokeni

24= 24 + 0Rječnik (znakovi + spajanja)

0Spajanja

Sada je svaki znak jedan token. Broj tokena: 725. Veličina rječnika (vrste znakova): 24. Pritisni „Spoji jednom” ili „Pokreni”.

  1. m
  2. a
  3. č
  4. k
  5. a
  6. s
  7. e
  8. b
  9. u
  10. d
  11. i
  12. r
  13. a
  14. n
  15. o
  16. u
  17. j
  18. u
  19. t
  20. r
  21. o
  22. m
  23. a
  24. č
  25. k
  26. a
  27. v
  28. o
  29. l
  30. i
  31. r
  32. i
  33. b
  34. u
  35. p
  36. a
  37. s
  38. v
  39. o
  40. l
  41. i
  42. m
  43. e
  44. s
  45. o
  46. p
  47. t
  48. i
  49. c
  50. a
  51. l
  52. e
  53. t
  54. i
  55. p
  56. o
  57. n
  58. e
  59. b
  60. u
  61. m
  62. a
  63. č
  64. k
  65. a
  66. g
  67. l
  68. e
  69. d
  70. a
  71. p
  72. t
  73. i
  74. c
  75. u
  76. s
  77. p
  78. r
  79. o
  80. z
  81. o
  82. r
  83. a
  84. p
  85. a
  86. s
  87. s
  88. e
  89. i
  90. g
  91. r
  92. a
  93. u
  94. v
  95. r
  96. t
  97. u
  98. d
  99. i
  100. j
  101. e
  102. t
  103. e
  104. s
  105. e
  106. i
  107. g
  108. r
  109. a
  110. s
  111. p
  112. s
  113. o
  114. m
  115. u
  116. v
  117. r
  118. t
  119. u
  120. m
  121. a
  122. j
  123. k
  124. a
  125. p
  126. e
  127. č
  128. e
  129. r
  130. i
  131. b
  132. u
  133. u
  134. k
  135. u
  136. h
  137. i
  138. n
  139. j
  140. i
  141. m
  142. a
  143. č
  144. k
  145. a
  146. č
  147. e
  148. k
  149. a
  150. r
  151. i
  152. b
  153. u
  154. u
  155. k
  156. u
  157. h
  158. i
  159. n
  160. j
  161. i
  162. o
  163. t
  164. a
  165. c
  166. r
  167. a
  168. n
  169. o
  170. u
  171. j
  172. u
  173. t
  174. r
  175. o
  176. i
  177. z
  178. l
  179. a
  180. z
  181. i
  182. i
  183. z
  184. k
  185. u
  186. ć
  187. e
  188. d
  189. i
  190. j
  191. e
  192. t
  193. e
  194. i
  195. d
  196. e
  197. u
  198. š
  199. k
  200. o
  201. l
  202. u
  203. p
  204. a
  205. s
  206. i
  207. d
  208. e
  209. u
  210. p
  211. a
  212. r
  213. k
  214. s
  215. o
  216. c
  217. e
  218. m
  219. u
  220. p
  221. a
  222. r
  223. k
  224. u
  225. j
  226. e
  227. v
  228. e
  229. l
  230. i
  231. k
  232. o
  233. d
  234. r
  235. v
  236. o
  237. p
  238. t
  239. i
  240. c
  241. a
  242. p
  243. j
  244. e
  245. v
  246. a
  247. n
  248. a
  249. d
  250. r
  251. v
  252. e
  253. t
  254. u
  255. m
  256. a
  257. č
  258. k
  259. a
  260. g
  261. l
  262. e
  263. d
  264. a
  265. p
  266. t
  267. i
  268. c
  269. u
  270. n
  271. a
  272. d
  273. r
  274. v
  275. e
  276. t
  277. u
  278. p
  279. a
  280. s
  281. p
  282. i
  283. j
  284. e
  285. v
  286. o
  287. d
  288. u
  289. m
  290. a
  291. č
  292. k
  293. a
  294. p
  295. i
  296. j
  297. e
  298. m
  299. l
  300. i
  301. j
  302. e
  303. k
  304. o
  305. d
  306. i
  307. j
  308. e
  309. t
  310. e
  311. v
  312. o
  313. l
  314. i
  315. m
  316. l
  317. i
  318. j
  319. e
  320. k
  321. o
  322. m
  323. a
  324. j
  325. k
  326. a
  327. s
  328. e
  329. b
  330. u
  331. d
  332. i
  333. r
  334. a
  335. n
  336. o
  337. u
  338. j
  339. u
  340. t
  341. r
  342. o
  343. o
  344. t
  345. a
  346. c
  347. s
  348. e
  349. k
  350. a
  351. s
  352. n
  353. o
  354. n
  355. a
  356. v
  357. e
  358. č
  359. e
  360. r
  361. v
  362. r
  363. a
  364. ć
  365. a
  366. k
  367. u
  368. ć
  369. i
  370. n
  371. a
  372. v
  373. e
  374. č
  375. e
  376. r
  377. m
  378. a
  379. č
  380. k
  381. a
  382. č
  383. e
  384. k
  385. a
  386. o
  387. c
  388. a
  389. p
  390. a
  391. s
  392. n
  393. o
  394. ć
  395. u
  396. s
  397. p
  398. a
  399. v
  400. a
  401. u
  402. v
  403. r
  404. t
  405. u
  406. m
  407. a
  408. č
  409. k
  410. a
  411. s
  412. p
  413. a
  414. v
  415. a
  416. u
  417. k
  418. u
  419. ć
  420. i
  421. d
  422. i
  423. j
  424. e
  425. t
  426. e
  427. s
  428. p
  429. a
  430. v
  431. a
  432. s
  433. m
  434. a
  435. č
  436. k
  437. o
  438. m
  439. u
  440. j
  441. u
  442. t
  443. r
  444. o
  445. p
  446. t
  447. i
  448. c
  449. a
  450. p
  451. j
  452. e
  453. v
  454. a
  455. u
  456. v
  457. r
  458. t
  459. u
  460. m
  461. a
  462. j
  463. k
  464. a
  465. u
  466. z
  467. g
  468. a
  469. j
  470. a
  471. c
  472. v
  473. i
  474. j
  475. e
  476. ć
  477. e
  478. u
  479. v
  480. r
  481. t
  482. u
  483. c
  484. v
  485. i
  486. j
  487. e
  488. ć
  489. e
  490. v
  491. o
  492. l
  493. i
  494. v
  495. o
  496. d
  497. u
  498. d
  499. i
  500. j
  501. e
  502. t
  503. e
  504. d
  505. a
  506. j
  507. e
  508. v
  509. o
  510. d
  511. u
  512. c
  513. v
  514. i
  515. j
  516. e
  517. ć
  518. u
  519. p
  520. a
  521. s
  522. j
  523. e
  524. d
  525. e
  526. v
  527. e
  528. l
  529. i
  530. k
  531. i
  532. k
  533. o
  534. m
  535. a
  536. d
  537. m
  538. e
  539. s
  540. a
  541. m
  542. a
  543. č
  544. k
  545. a
  546. j
  547. e
  548. d
  549. e
  550. m
  551. a
  552. l
  553. u
  554. r
  555. i
  556. b
  557. u
  558. p
  559. t
  560. i
  561. c
  562. a
  563. j
  564. e
  565. d
  566. e
  567. m
  568. a
  569. l
  570. u
  571. b
  572. u
  573. b
  574. u
  575. b
  576. u
  577. b
  578. a
  579. l
  580. e
  581. t
  582. i
  583. i
  584. z
  585. n
  586. a
  587. d
  588. c
  589. v
  590. i
  591. j
  592. e
  593. ć
  594. a
  595. m
  596. a
  597. č
  598. k
  599. a
  600. g
  601. l
  602. e
  603. d
  604. a
  605. b
  606. u
  607. b
  608. u
  609. o
  610. t
  611. a
  612. c
  613. s
  614. e
  615. i
  616. g
  617. r
  618. a
  619. s
  620. p
  621. s
  622. o
  623. m
  624. u
  625. p
  626. a
  627. r
  628. k
  629. u
  630. m
  631. a
  632. j
  633. k
  634. a
  635. i
  636. d
  637. e
  638. u
  639. š
  640. k
  641. o
  642. l
  643. u
  644. s
  645. d
  646. j
  647. e
  648. t
  649. e
  650. t
  651. o
  652. m
  653. u
  654. š
  655. k
  656. o
  657. l
  658. i
  659. j
  660. e
  661. v
  662. e
  663. l
  664. i
  665. k
  666. i
  667. v
  668. r
  669. t
  670. d
  671. i
  672. j
  673. e
  674. t
  675. e
  676. p
  677. j
  678. e
  679. v
  680. a
  681. u
  682. š
  683. k
  684. o
  685. l
  686. i
  687. p
  688. a
  689. s
  690. v
  691. o
  692. l
  693. i
  694. d
  695. i
  696. j
  697. e
  698. t
  699. e
  700. m
  701. a
  702. č
  703. k
  704. a
  705. v
  706. o
  707. l
  708. i
  709. m
  710. a
  711. j
  712. k
  713. u
  714. u
  715. k
  716. u
  717. ć
  718. i
  719. j
  720. e
  721. m
  722. a
  723. č
  724. k
  725. a
Tokeni 725Rječnik (znakovi + spajanja) 24Spajanja 1020

Velika slova pretvaraju se u mala. Kad su parovi izjednačeni, pobjeđuje onaj koji je prvi pronađen u tekstu. Narančasti okvir označava upravo nastali token.

TRY 2

Gdje stati? Biranje veličine rječnika

Odaberi veličinu rječnika za istih 40 rečenica. Što je veći, to je niz kraći, ali je i više tokena koji se u tekstu za učenje gotovo nikad ne koriste.

75

75= 24 + 51Veličina rječnika

353← 725Tokeni za 40 rečenica

10+ 7nikad korišteni + korišteni jednom

Uz veličinu rječnika 75, broj tokena za 40 rečenica je 353. Stavki koje se nikad ne koriste: 10; korištenih samo jednom: 7.

  1. mačka
  2. se
  3. bu
  4. d
  5. i
  6. rano
  7. ujutro
  8. mačka
  9. voli
  10. ribu
  11. pas
  12. voli
  13. m
  14. e
  15. so
  16. ptica

Rječnik (broj = koliko se puta koristi u 40 rečenica; precrtano = nikad)

  • m9
  • a11
  • č0
  • k3
  • s11
  • e8
  • b1
  • u24
  • d11
  • i21
  • r8
  • n3
  • o8
  • j3
  • t5
  • v1
  • l3
  • p10
  • c5
  • g7
  • z6
  • h2
  • ć2
  • š0
  • je11
  • ma3
  • ka3
  • ije4
  • mač1
  • pa6
  • mačka12
  • bu8
  • li5
  • vo4
  • ku5
  • ko5
  • ra5
  • ti2
  • te1
  • pas7
  • tu2
  • dije0
  • dijete7
  • ve7
  • se6
  • voli6
  • pti0
  • ptic2
  • vr1
  • de6
  • va6
  • no2
  • ro1
  • le5
  • vrtu5
  • maj1
  • če5
  • na5
  • uj0
  • uju0
  • ujut0
  • ujutro4
  • ri0
  • ribu4
  • ptica4
  • da4
  • majka4
  • kuć4
  • ško4
  • lu4
  • cv0
  • cvije0
  • cvijeć4
  • rano3
  • so3

Gdje stati, postavka je koju ljudi biraju prije učenja. Premalen rječnik daje duge nizove; prevelik daje mnogo tokena koji se gotovo nikad ne pojavljuju, pa model vidi jedva koji primjer s njima.

TRY 3

Pravi rječnik: Gemmina 262.144 tokena

Rječnik modela koji koristimo u ovoj seriji pročitali smo izravno iz njegove datoteke i prebrojili. Pogledaj od čega se sastoji, kojim su redom stavke i kako se režu neke riječi.

Rječnik modela Gemma 3 4B (Q4_K_M, llama.cpp) ima 262.144 tokena.

Spojeni komadi236.249
Pojedinačni znakovi19.225
Bajtovi (256)256
Posebni simboli i sl.6.414
Ukupno262.144 = 218

Stavke 494 do 506 rječnika (␣ = razmak)

494␣t
495in
496␣a
497er
498on
499he
500re
501en
502at
503␣s
504or
505␣c
506␣the

ID-ovi idu redom spajanja. Prvi su kratki nizovi česti u engleskom. Broj 506 je „␣the”.

Riječi izrezane pravim rječnikom (mali brojevi = ID-ovi tokena)

je
  1. je2185
1
dijete
  1. dijete223288
1
škola
  1. škola222208
1
najneprijatnije
  1. naj13230
  2. nep151768
  3. rij11382
  4. at502
  5. nije87492
5
prijestolonasljednikovica
  1. pri2967
  2. jest36982
  3. ol551
  4. onas35455
  5. ljed137582
  6. nikov61315
  7. ica1614
7
鶺鴒
  1. <E9>471
  2. <B6>420
  3. <BA>424
  4. <E9>471
  5. <B4>418
  6. <92>384
6

„je” je jedan token. Česte riječi nalaze se u rječniku u cijelosti.

Tokenizator se izrađuje prije modela i nakon toga je fiksan. Model zatim vježba pogađati sljedeći token, koristeći tokene ovog rječnika.

CHECK

Brza provjera

Tri pitanja o onome što je pokazala ova epizoda.

Q1Počinješ s 24 vrste znakova i spajaš 8 puta. Koliko je velik rječnik?

Q2Koji nizovi najlakše postaju jedan token?

Q3Tko određuje veličinu rječnika (gdje stati)?

Spajanja i brojeve tokena na ovoj stranici tvoj preglednik računa na licu mjesta. Sastav, redoslijed i ID-ovi tokena pravog rječnika unaprijed su preuzeti iz datoteke i tokenizatora jezičnog modela (Gemma 3 4B (Q4_K_M, llama.cpp), rječnik od 262.144 tokena). Ništa se ne šalje na poslužitelj.