BPE入門②:トークナイザーの語彙を学習する
前回は、いちばん多いペアを一回だけマージしました。今回は、それを最後までくり返します。文章を数えて、まとめて、また数える。これだけで、トークナイザーの語彙ができあがります。このページでは、あなたの文章でトークナイザーを学習させます。
- POINT 1トークナイザーの学習は、ペアを数える・いちばん多いペアをマージする・ルールに書き留める、のくり返し。
- POINT 2語彙の大きさは「最初の文字の種類 + マージの回数」。よく出る並びほど、一つのトークンになる。
- POINT 3どこで止めるか(語彙の大きさ)は、人が決める設定。Gemmaの語彙は262,144種類(2の18乗)。
TRY 1
自分の文章で、語彙を学習させる
文章を一文字ずつにばらし、ペアを数えて、いちばん多いペアをマージする。これを、二回以上出てくるペアがなくなるまでくり返します。最初に入っているのは、このシリーズで第4回から使っている40文です。好きな文章に書きかえて、語彙が育つのを見てください。
339← 339トークンの数
74= 74 + 0語彙の大きさ(最初の文字 + マージ)
0マージの回数
いまは一文字が一トークンで、339 個です。語彙は、文字の種類の 74 種類。「1回マージ」か「自動で進める」を押してください。
- 猫
- は
- 朝
- 早
- く
- 起
- き
- る
- 猫
- は
- 魚
- が
- 好
- き
- だ
- 犬
- は
- 肉
- が
- 好
- き
- だ
- 鳥
- は
- 空
- を
- 飛
- ぶ
- 猫
- は
- 窓
- か
- ら
- 鳥
- を
- 見
- る
- 犬
- は
- 庭
- で
- 遊
- ぶ
- 子
- ど
- も
- は
- 犬
- と
- 庭
- で
- 遊
- ぶ
- 母
- は
- 台
- 所
- で
- 魚
- を
- 焼
- く
- 猫
- は
- 台
- 所
- で
- 魚
- を
- 待
- つ
- 父
- は
- 朝
- 早
- く
- 家
- を
- 出
- る
- 子
- ど
- も
- は
- 学
- 校
- へ
- 行
- く
- 犬
- は
- 父
- と
- 公
- 園
- へ
- 行
- く
- 公
- 園
- に
- は
- 大
- き
- な
- 木
- が
- あ
- る
- 鳥
- は
- 木
- の
- 上
- で
- 歌
- う
- 猫
- は
- 木
- の
- 上
- の
- 鳥
- を
- 見
- る
- 犬
- は
- 水
- を
- 飲
- む
- 猫
- は
- 牛
- 乳
- を
- 飲
- む
- 子
- ど
- も
- は
- 牛
- 乳
- が
- 好
- き
- だ
- 母
- は
- 朝
- 早
- く
- 起
- き
- る
- 父
- は
- 夜
- 遅
- く
- 家
- に
- 帰
- る
- 夜
- 猫
- は
- 父
- を
- 待
- つ
- 犬
- は
- 夜
- 庭
- で
- 眠
- る
- 猫
- は
- 家
- の
- 中
- で
- 眠
- る
- 子
- ど
- も
- は
- 猫
- と
- 眠
- る
- 朝
- 鳥
- は
- 庭
- で
- 歌
- う
- 母
- は
- 庭
- で
- 花
- を
- 育
- て
- る
- 花
- は
- 水
- が
- 好
- き
- だ
- 子
- ど
- も
- は
- 花
- に
- 水
- を
- や
- る
- 犬
- は
- 大
- き
- な
- 肉
- を
- 食
- べ
- る
- 猫
- は
- 小
- さ
- な
- 魚
- を
- 食
- べ
- る
- 鳥
- は
- 小
- さ
- な
- 虫
- を
- 食
- べ
- る
- 虫
- は
- 花
- の
- 上
- を
- 飛
- ぶ
- 猫
- は
- 虫
- を
- 見
- る
- 父
- は
- 公
- 園
- で
- 犬
- と
- 遊
- ぶ
- 母
- は
- 子
- ど
- も
- と
- 学
- 校
- へ
- 行
- く
- 学
- 校
- に
- は
- 大
- き
- な
- 庭
- が
- あ
- る
- 子
- ど
- も
- は
- 学
- 校
- で
- 歌
- う
- 犬
- は
- 子
- ど
- も
- が
- 好
- き
- だ
- 猫
- は
- 母
- が
- 好
- き
- だ
- 家
- の
- 中
- に
- は
- 猫
- が
- い
- る
日本語以外は大文字を小文字にそろえています。同じ回数のペアは、文章の中で先に出てきたほうを選びます。オレンジの枠が、いま作ったトークンです。
TRY 2
どこで止める? 語彙の大きさを選ぶ
同じ40文で、語彙の大きさを選んでみましょう。大きくするほど列は短くなりますが、学習した文章の中でほとんど使われないトークンも増えていきます。
102= 74 + 28語彙の大きさ
216← 33940文のトークンの数
26+ 16一度も使われない + 一回だけのトークン
語彙 102 種類で、40文は 216 個のトークンになります。語彙のうち 26 種類は一度も使われず、16 種類は一回しか使われません。
- 猫は
- 朝早く
- 起
- き
- る
- 猫は
- 魚
- が好きだ
- 犬は
- 肉
- が好きだ
- 鳥は
- 空
- を
- 飛
- ぶ
- 猫は
- 窓
- か
- ら
- 鳥
- を見る
- 犬は
- 庭で
- 遊ぶ
- 子どもは
- 犬
- と
- 庭で
- 遊ぶ
- 母は
- 台
- 所
- で
- 魚を
- 焼
- く
- 猫は
- 台
- 所
- で
- 魚を
- 待
- つ
- 父は
- 朝早く
- 家
- を
- 出
- る
- 子どもは
- 学校
- へ行く
- 犬は
- 父
- と
- 公園
- へ行く
語彙(数字は、40文の中で使われた回数。線は一度も使われないもの)
- 猫2
- は2
- 朝1
- 早0
- く2
- 起2
- き2
- る12
- 魚1
- が3
- 好0
- だ0
- 犬2
- 肉2
- 鳥2
- 空1
- を10
- 飛2
- ぶ2
- 窓1
- か1
- ら1
- 見0
- 庭1
- で6
- 遊0
- 子0
- ど0
- も0
- と5
- 母1
- 台2
- 所2
- 焼1
- 待2
- つ2
- 父2
- 家4
- 出1
- 学0
- 校0
- へ0
- 行0
- 公0
- 園0
- に2
- 大0
- な2
- 木3
- あ2
- の3
- 上0
- 歌0
- う0
- 水3
- 飲2
- む2
- 牛2
- 乳2
- 夜3
- 遅1
- 帰1
- 眠0
- 中2
- 花4
- 育1
- て1
- や1
- 食3
- べ3
- 小2
- さ2
- 虫3
- い1
- 猫は11
- 子ど0
- 子ども2
- 犬は7
- が好0
- が好き0
- が好きだ6
- 子どもは6
- 庭で5
- 鳥は4
- 母は4
- 学校4
- 朝早0
- 朝早く3
- を見0
- を見る3
- 遊ぶ3
- 魚を3
- 父は3
- へ行0
- へ行く3
- 公園3
- には3
- 大き0
- 大きな3
- の上3
- 歌う3
- 眠る3
どこで止めるかは、学習を始める前に人が決める設定です。小さすぎると列が長くなり、大きすぎると、めったに出ないトークンが増えて、モデルがその例をほとんど見られません。
TRY 3
本物の語彙: Gemmaの262,144種類
このシリーズで使っているモデルの語彙を、モデルのファイルから取り出して数えました。中身の内訳、語彙の並び順、いくつかの言葉の切られ方を見てみましょう。
Gemma 3 4B (Q4_K_M, llama.cpp) の語彙は 262,144 種類です。
| まとめてできたかけら | 236,249 |
| 一文字のトークン | 19,225 |
| バイト(256種類) | 256 |
| 特別な記号など | 6,414 |
| 合計 | 262,144 = 218 |
語彙の 494 番から 506 番(␣ は空白)
| 494 | ␣t |
| 495 | in |
| 496 | ␣a |
| 497 | er |
| 498 | on |
| 499 | he |
| 500 | re |
| 501 | en |
| 502 | at |
| 503 | ␣s |
| 504 | or |
| 505 | ␣c |
| 506 | ␣the |
語彙の番号は、まとめられた順に並んでいます。最初のほうは、英語でよく出る短い並び。506 番が「␣the」です。
本物の語彙で、言葉を切ると(小さい数字はトークンID)
- 子ども97449
- 学校24993
- ありがとう42953
- トーク186745
- ナイ75201
- ザー28798
- 魑254147
- 魅240609
- 魍251285
- 魎253798
- <E9>471
- <B6>420
- <BA>424
- <E9>471
- <B4>418
- <92>384
「子ども」は、一つのトークンです。よく出る言葉は、まるごと語彙に入っています。
トークナイザーは、モデルより先に作られ、そのあとは固定されます。モデルは、この語彙のトークンを使って、次のトークンを当てる練習をします。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1最初の文字が 74 種類で、マージを 8 回すると、語彙は何種類?
Q2学習した文章で、一つのトークンになりやすいのは?
Q3語彙の大きさ(どこで止めるか)は、誰が決める?
NEXT #12
トークナイザーのエンコードとデコード:文章をトークンIDに
次回は、できあがった語彙とルールで、文章をトークンIDの列に変え(エンコード)、IDの列から元の文章に戻します(デコード)。
このページのマージとトークンの数は、あなたのブラウザがその場で計算しています。本物の語彙の内訳・並び順・トークンIDは、言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp)、語彙 262,144 種類)のファイルとトークナイザーからあらかじめ取り出したものです。サーバーには何も送られません。