トークナイザーのエンコードとデコード:文章をトークンIDに
前回までに、文章を数えてマージのルールと語彙を作りました。今回は、それを使う番です。入力した文が、その場でトークンに切られ、トークンIDになり、また元の文に戻ります。
- POINT 1エンコードは、文字に分けて、マージのルールを学んだ順に当て、語彙の表で番号にする。長いかけらから取るのではない。
- POINT 2デコードは、番号を表でかけらに戻して、つなげるだけ。ルールは使わない。
- POINT 3表にない文字は、本物のトークナイザーではバイトに分けて番号にする。だから、どんな文も必ず元に戻る。
TRY 1
入力するそばから、トークンに
動画の小さなトークナイザーが、このページの中で動いています。文を入れると、その場でルールが当てられ、トークンに切られて色分けされます。下の小さな数字がトークンIDです。
- にわ16
- にわとりが22
- い9
- る10
9文字
4トークン
0知らない文字(0番)
9 文字が 4 個のトークンになり、デコードすると元の文にぴったり戻りました。
このトークナイザーの中身(学習しなおすこともできます)
いまのトークナイザー: マージのルール 7 個、語彙 23 行(0番 + 文字 15 種類 + ルールで作ったかけら)。
- 1に + わ → にわ学習で 6 回
- 2にわ + に → にわに学習で 2 回
- 3にわに + は → にわには学習で 2 回
- 4にわには + にわ → にわにはにわ学習で 2 回
- 5にわ + と → にわと学習で 2 回
- 6にわと + り → にわとり学習で 2 回
- 7にわとり + が → にわとりが学習で 2 回
学習のやり方は前回と同じです。いちばん多い隣同士のペアをまとめる、をくり返し、2回以上出てくるペアがなくなったら止めます(同点なら先に出てきたペア)。日本語は1行を、英語とクロアチア語は1単語をひとかたまりとして数えます。
このトークナイザーは、学習した文章に出てくる文字しか知りません。知らない文字を入れると、どうなるか試してみましょう。
TRY 2
ルールを、1つずつ順番に当てる
エンコードの中身をゆっくり見ます。文字に分けたあと、ルールを1番から順に、1つずつ当てていきます。当てはまる並びがなければ、何もせずに次のルールへ進みます。
- に
- わ
- に
- わ
- と
- り
- が
- い
- る
9 文字に分けました。ここから、7 個のルールを順番に当てます。
- 1に + わ → にわ
- 2にわ + に → にわに
- 3にわに + は → にわには
- 4にわには + にわ → にわにはにわ
- 5にわ + と → にわと
- 6にわと + り → にわとり
- 7にわとり + が → にわとりが
同じ表で、「左から、いちばん長いかけらを取る」とどうなるか比べてみましょう。
ルールを順番に4
- にわ
- にわとりが
- い
- る
左から長い順に7
- にわに
- わ
- と
- り
- が
- い
- る
同じ表なのに、切り方がちがいます。モデルは、ルールを順番に当てる切り方で学習しているので、エンコードも同じ手順でなければいけません。
ルールの順番は、学習でペアをまとめた順番そのものです。順番を変えると、同じ文でも別のトークンになることがあります。
TRY 3
本物のGemmaのトークナイザー
このシリーズで使っている言語モデルのトークナイザーで、同じことを確かめます。Gemmaは、つなげられる隣同士の中から、番号(トークンID)のいちばん小さいかけらを先につなげます。早く作られたかけらほど番号が小さいので、番号の順番がルールの順番になっています。
本物のモデル(Gemma 3 4B (Q4_K_M, llama.cpp))に入れると、9 個のトークンIDになります。
- トーク186745
- ナイ75201
- ザー28798
- の236945
- エン42415
- コード51355
- と237032
- デ237549
- コード51355
「のエンコード」をつなげていく途中を、1手ずつ見てみましょう。
- の
- エ
- ン
- コ
- ー
- ド
- のエ 118638
- エン 42415
- コー 30543
- ード 9829
1 手め: つなげられる隣同士は 4 か所。いちばん番号が小さい「ード」(9829)をつなげます。
左から長いかけらを取るのではありません。番号の小さい順(学んだ順)につなげるので、結果が変わることがあります。
空白の印: Gemmaは空白も、かけらの一部として持っています(▁ の印)。デコードでは、この印を空白に戻してからつなげます。
- encode18016
- ▁decode39961
“unbelievably”4
- un602
- bel8145
- iev20873
- ably2579
“▁unbelievably”1
- ▁unbelievably170977
前に空白がつくかどうかで、別のトークンになります。
- F0<0xF0>ID 478
- A0<0xA0>ID 398
- AE<0xAE>ID 412
- B7<0xB7>ID 421
4 バイトがそろって、「𠮷」に戻りました。
Gemmaの表には、256 種類のバイトすべてに席があります(トークンID 238〜493)。表にない文字は、このバイトのトークンに分けて番号にします。動画の「𠮷」は、Gemmaでは 478, 398, 412, 421 でした。ここに出る番号は、その文字が表にない場合に使われるバイトの番号です(よく使う文字は、ふつう1つのトークンとして表にあります)。
エンコードしてデコードすると(本物のモデルで確かめた結果。左の数はトークン数)
- 9トークナイザーのエンコードとデコード✓
- 12𠮷野家で牛丼を食べた。✓
- 11東京は晴れ、気温は23度。✓
- 10フラミンゴ🦩はピンク色✓
- 9LLMは1トークンずつ書く✓
数字や記号や絵文字をまぜても、すべて一文字も変わらずに戻りました。必ず元に戻るのが、トークナイザーの大事な性質です。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1できあがったトークナイザーで新しい文をエンコードするとき、マージのルールはどう使う?
Q2デコード(番号を文に戻す)に必要なものは?
Q3Gemmaの表にない文字(めずらしい漢字や絵文字)は、どうなる?
NEXT #13
日本語のトークン数はなぜ多い?LLMと言語ごとのトークン化
次回は、同じ内容の文でも、日本語と英語でトークンの数が大きくちがう理由を見ます。
このページの小さなトークナイザーの学習・エンコード・デコードは、あなたのブラウザがその場で計算しています。本物のトークンとトークンIDは、言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp)、語彙 262,144 行)のトークナイザーからあらかじめ取り出したものです。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…