相談する

知識ゼロから完全に理解するLLM#11

BPE入門②:トークナイザーの語彙を学習する

前回は、いちばん多いペアを一回だけマージしました。今回は、それを最後までくり返します。文章を数えて、まとめて、また数える。これだけで、トークナイザーの語彙ができあがります。このページでは、あなたの文章でトークナイザーを学習させます。

  • POINT 1トークナイザーの学習は、ペアを数える・いちばん多いペアをマージする・ルールに書き留める、のくり返し。
  • POINT 2語彙の大きさは「最初の文字の種類 + マージの回数」。よく出る並びほど、一つのトークンになる。
  • POINT 3どこで止めるか(語彙の大きさ)は、人が決める設定。Gemmaの語彙は262,144種類(2の18乗)。
動画は準備中です公開されると、ここで見られるようになります。

TRY 1

自分の文章で、語彙を学習させる

文章を一文字ずつにばらし、ペアを数えて、いちばん多いペアをマージする。これを、二回以上出てくるペアがなくなるまでくり返します。最初に入っているのは、このシリーズで第4回から使っている40文です。好きな文章に書きかえて、語彙が育つのを見てください。

文章:
0 / 56

339← 339トークンの数

74= 74 + 0語彙の大きさ(最初の文字 + マージ)

0マージの回数

いまは一文字が一トークンで、339 個です。語彙は、文字の種類の 74 種類。「1回マージ」か「自動で進める」を押してください。

  1. 猫
  2. は
  3. 朝
  4. 早
  5. く
  6. 起
  7. き
  8. る
  9. 猫
  10. は
  11. 魚
  12. が
  13. 好
  14. き
  15. だ
  16. 犬
  17. は
  18. 肉
  19. が
  20. 好
  21. き
  22. だ
  23. 鳥
  24. は
  25. 空
  26. を
  27. 飛
  28. ぶ
  29. 猫
  30. は
  31. 窓
  32. か
  33. ら
  34. 鳥
  35. を
  36. 見
  37. る
  38. 犬
  39. は
  40. 庭
  41. で
  42. 遊
  43. ぶ
  44. 子
  45. ど
  46. も
  47. は
  48. 犬
  49. と
  50. 庭
  51. で
  52. 遊
  53. ぶ
  54. 母
  55. は
  56. 台
  57. 所
  58. で
  59. 魚
  60. を
  61. 焼
  62. く
  63. 猫
  64. は
  65. 台
  66. 所
  67. で
  68. 魚
  69. を
  70. 待
  71. つ
  72. 父
  73. は
  74. 朝
  75. 早
  76. く
  77. 家
  78. を
  79. 出
  80. る
  81. 子
  82. ど
  83. も
  84. は
  85. 学
  86. 校
  87. へ
  88. 行
  89. く
  90. 犬
  91. は
  92. 父
  93. と
  94. 公
  95. 園
  96. へ
  97. 行
  98. く
  99. 公
  100. 園
  101. に
  102. は
  103. 大
  104. き
  105. な
  106. 木
  107. が
  108. あ
  109. る
  110. 鳥
  111. は
  112. 木
  113. の
  114. 上
  115. で
  116. 歌
  117. う
  118. 猫
  119. は
  120. 木
  121. の
  122. 上
  123. の
  124. 鳥
  125. を
  126. 見
  127. る
  128. 犬
  129. は
  130. 水
  131. を
  132. 飲
  133. む
  134. 猫
  135. は
  136. 牛
  137. 乳
  138. を
  139. 飲
  140. む
  141. 子
  142. ど
  143. も
  144. は
  145. 牛
  146. 乳
  147. が
  148. 好
  149. き
  150. だ
  151. 母
  152. は
  153. 朝
  154. 早
  155. く
  156. 起
  157. き
  158. る
  159. 父
  160. は
  161. 夜
  162. 遅
  163. く
  164. 家
  165. に
  166. 帰
  167. る
  168. 夜
  169. 猫
  170. は
  171. 父
  172. を
  173. 待
  174. つ
  175. 犬
  176. は
  177. 夜
  178. 庭
  179. で
  180. 眠
  181. る
  182. 猫
  183. は
  184. 家
  185. の
  186. 中
  187. で
  188. 眠
  189. る
  190. 子
  191. ど
  192. も
  193. は
  194. 猫
  195. と
  196. 眠
  197. る
  198. 朝
  199. 鳥
  200. は
  201. 庭
  202. で
  203. 歌
  204. う
  205. 母
  206. は
  207. 庭
  208. で
  209. 花
  210. を
  211. 育
  212. て
  213. る
  214. 花
  215. は
  216. 水
  217. が
  218. 好
  219. き
  220. だ
  221. 子
  222. ど
  223. も
  224. は
  225. 花
  226. に
  227. 水
  228. を
  229. や
  230. る
  231. 犬
  232. は
  233. 大
  234. き
  235. な
  236. 肉
  237. を
  238. 食
  239. べ
  240. る
  241. 猫
  242. は
  243. 小
  244. さ
  245. な
  246. 魚
  247. を
  248. 食
  249. べ
  250. る
  251. 鳥
  252. は
  253. 小
  254. さ
  255. な
  256. 虫
  257. を
  258. 食
  259. べ
  260. る
  261. 虫
  262. は
  263. 花
  264. の
  265. 上
  266. を
  267. 飛
  268. ぶ
  269. 猫
  270. は
  271. 虫
  272. を
  273. 見
  274. る
  275. 父
  276. は
  277. 公
  278. 園
  279. で
  280. 犬
  281. と
  282. 遊
  283. ぶ
  284. 母
  285. は
  286. 子
  287. ど
  288. も
  289. と
  290. 学
  291. 校
  292. へ
  293. 行
  294. く
  295. 学
  296. 校
  297. に
  298. は
  299. 大
  300. き
  301. な
  302. 庭
  303. が
  304. あ
  305. る
  306. 子
  307. ど
  308. も
  309. は
  310. 学
  311. 校
  312. で
  313. 歌
  314. う
  315. 犬
  316. は
  317. 子
  318. ど
  319. も
  320. が
  321. 好
  322. き
  323. だ
  324. 猫
  325. は
  326. 母
  327. が
  328. 好
  329. き
  330. だ
  331. 家
  332. の
  333. 中
  334. に
  335. は
  336. 猫
  337. が
  338. い
  339. る
トークンの数 339語彙の大きさ(最初の文字 + マージ) 74マージの回数 560

日本語以外は大文字を小文字にそろえています。同じ回数のペアは、文章の中で先に出てきたほうを選びます。オレンジの枠が、いま作ったトークンです。

TRY 2

どこで止める? 語彙の大きさを選ぶ

同じ40文で、語彙の大きさを選んでみましょう。大きくするほど列は短くなりますが、学習した文章の中でほとんど使われないトークンも増えていきます。

102

102= 74 + 28語彙の大きさ

216← 33940文のトークンの数

26+ 16一度も使われない + 一回だけのトークン

語彙 102 種類で、40文は 216 個のトークンになります。語彙のうち 26 種類は一度も使われず、16 種類は一回しか使われません。

  1. 猫は
  2. 朝早く
  3. 起
  4. き
  5. る
  6. 猫は
  7. 魚
  8. が好きだ
  9. 犬は
  10. 肉
  11. が好きだ
  12. 鳥は
  13. 空
  14. を
  15. 飛
  16. ぶ
  17. 猫は
  18. 窓
  19. か
  20. ら
  21. 鳥
  22. を見る
  23. 犬は
  24. 庭で
  25. 遊ぶ
  26. 子どもは
  27. 犬
  28. と
  29. 庭で
  30. 遊ぶ
  31. 母は
  32. 台
  33. 所
  34. で
  35. 魚を
  36. 焼
  37. く
  38. 猫は
  39. 台
  40. 所
  41. で
  42. 魚を
  43. 待
  44. つ
  45. 父は
  46. 朝早く
  47. 家
  48. を
  49. 出
  50. る
  51. 子どもは
  52. 学校
  53. へ行く
  54. 犬は
  55. 父
  56. と
  57. 公園
  58. へ行く

語彙(数字は、40文の中で使われた回数。線は一度も使われないもの)

  • 猫2
  • は2
  • 朝1
  • 早0
  • く2
  • 起2
  • き2
  • る12
  • 魚1
  • が3
  • 好0
  • だ0
  • 犬2
  • 肉2
  • 鳥2
  • 空1
  • を10
  • 飛2
  • ぶ2
  • 窓1
  • か1
  • ら1
  • 見0
  • 庭1
  • で6
  • 遊0
  • 子0
  • ど0
  • も0
  • と5
  • 母1
  • 台2
  • 所2
  • 焼1
  • 待2
  • つ2
  • 父2
  • 家4
  • 出1
  • 学0
  • 校0
  • へ0
  • 行0
  • 公0
  • 園0
  • に2
  • 大0
  • な2
  • 木3
  • あ2
  • の3
  • 上0
  • 歌0
  • う0
  • 水3
  • 飲2
  • む2
  • 牛2
  • 乳2
  • 夜3
  • 遅1
  • 帰1
  • 眠0
  • 中2
  • 花4
  • 育1
  • て1
  • や1
  • 食3
  • べ3
  • 小2
  • さ2
  • 虫3
  • い1
  • 猫は11
  • 子ど0
  • 子ども2
  • 犬は7
  • が好0
  • が好き0
  • が好きだ6
  • 子どもは6
  • 庭で5
  • 鳥は4
  • 母は4
  • 学校4
  • 朝早0
  • 朝早く3
  • を見0
  • を見る3
  • 遊ぶ3
  • 魚を3
  • 父は3
  • へ行0
  • へ行く3
  • 公園3
  • には3
  • 大き0
  • 大きな3
  • の上3
  • 歌う3
  • 眠る3

どこで止めるかは、学習を始める前に人が決める設定です。小さすぎると列が長くなり、大きすぎると、めったに出ないトークンが増えて、モデルがその例をほとんど見られません。

TRY 3

本物の語彙: Gemmaの262,144種類

このシリーズで使っているモデルの語彙を、モデルのファイルから取り出して数えました。中身の内訳、語彙の並び順、いくつかの言葉の切られ方を見てみましょう。

Gemma 3 4B (Q4_K_M, llama.cpp) の語彙は 262,144 種類です。

まとめてできたかけら236,249
一文字のトークン19,225
バイト(256種類)256
特別な記号など6,414
合計262,144 = 218

語彙の 494 番から 506 番(␣ は空白)

494␣t
495in
496␣a
497er
498on
499he
500re
501en
502at
503␣s
504or
505␣c
506␣the

語彙の番号は、まとめられた順に並んでいます。最初のほうは、英語でよく出る短い並び。506 番が「␣the」です。

本物の語彙で、言葉を切ると(小さい数字はトークンID)

子ども
  1. 子ども97449
1
学校
  1. 学校24993
1
ありがとう
  1. ありがとう42953
1
トークナイザー
  1. トーク186745
  2. ナイ75201
  3. ザー28798
3
魑魅魍魎
  1. 魑254147
  2. 魅240609
  3. 魍251285
  4. 魎253798
4
鶺鴒
  1. <E9>471
  2. <B6>420
  3. <BA>424
  4. <E9>471
  5. <B4>418
  6. <92>384
6

「子ども」は、一つのトークンです。よく出る言葉は、まるごと語彙に入っています。

トークナイザーは、モデルより先に作られ、そのあとは固定されます。モデルは、この語彙のトークンを使って、次のトークンを当てる練習をします。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1最初の文字が 74 種類で、マージを 8 回すると、語彙は何種類?

Q2学習した文章で、一つのトークンになりやすいのは?

Q3語彙の大きさ(どこで止めるか)は、誰が決める?

このページのマージとトークンの数は、あなたのブラウザがその場で計算しています。本物の語彙の内訳・並び順・トークンIDは、言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp)、語彙 262,144 種類)のファイルとトークナイザーからあらかじめ取り出したものです。サーバーには何も送られません。