相談する

知識ゼロから完全に理解するLLM#12

トークナイザーのエンコードとデコード:文章をトークンIDに

前回までに、文章を数えてマージのルールと語彙を作りました。今回は、それを使う番です。入力した文が、その場でトークンに切られ、トークンIDになり、また元の文に戻ります。

  • POINT 1エンコードは、文字に分けて、マージのルールを学んだ順に当て、語彙の表で番号にする。長いかけらから取るのではない。
  • POINT 2デコードは、番号を表でかけらに戻して、つなげるだけ。ルールは使わない。
  • POINT 3表にない文字は、本物のトークナイザーではバイトに分けて番号にする。だから、どんな文も必ず元に戻る。

TRY 1

入力するそばから、トークンに

動画の小さなトークナイザーが、このページの中で動いています。文を入れると、その場でルールが当てられ、トークンに切られて色分けされます。下の小さな数字がトークンIDです。

例文
  1. にわ16
  2. にわとりが22
  3. い9
  4. る10

9文字

4トークン

0知らない文字(0番)

トークンIDの列16, 22, 9, 10
デコードした結果にわにわとりがいる

9 文字が 4 個のトークンになり、デコードすると元の文にぴったり戻りました。

このトークナイザーの中身(学習しなおすこともできます)

いまのトークナイザー: マージのルール 7 個、語彙 23 行(0番 + 文字 15 種類 + ルールで作ったかけら)。

  1. 1に + わ → にわ学習で 6 回
  2. 2にわ + に → にわに学習で 2 回
  3. 3にわに + は → にわには学習で 2 回
  4. 4にわには + にわ → にわにはにわ学習で 2 回
  5. 5にわ + と → にわと学習で 2 回
  6. 6にわと + り → にわとり学習で 2 回
  7. 7にわとり + が → にわとりが学習で 2 回

学習のやり方は前回と同じです。いちばん多い隣同士のペアをまとめる、をくり返し、2回以上出てくるペアがなくなったら止めます(同点なら先に出てきたペア)。日本語は1行を、英語とクロアチア語は1単語をひとかたまりとして数えます。

このトークナイザーは、学習した文章に出てくる文字しか知りません。知らない文字を入れると、どうなるか試してみましょう。

TRY 2

ルールを、1つずつ順番に当てる

エンコードの中身をゆっくり見ます。文字に分けたあと、ルールを1番から順に、1つずつ当てていきます。当てはまる並びがなければ、何もせずに次のルールへ進みます。

例文
  1. に
  2. わ
  3. に
  4. わ
  5. と
  6. り
  7. が
  8. い
  9. る

9 文字に分けました。ここから、7 個のルールを順番に当てます。

  1. 1に + わ → にわ
  2. 2にわ + に → にわに
  3. 3にわに + は → にわには
  4. 4にわには + にわ → にわにはにわ
  5. 5にわ + と → にわと
  6. 6にわと + り → にわとり
  7. 7にわとり + が → にわとりが

同じ表で、「左から、いちばん長いかけらを取る」とどうなるか比べてみましょう。

ルールを順番に4

  1. にわ
  2. にわとりが
  3. い
  4. る

左から長い順に7

  1. にわに
  2. わ
  3. と
  4. り
  5. が
  6. い
  7. る

同じ表なのに、切り方がちがいます。モデルは、ルールを順番に当てる切り方で学習しているので、エンコードも同じ手順でなければいけません。

ルールの順番は、学習でペアをまとめた順番そのものです。順番を変えると、同じ文でも別のトークンになることがあります。

TRY 3

本物のGemmaのトークナイザー

このシリーズで使っている言語モデルのトークナイザーで、同じことを確かめます。Gemmaは、つなげられる隣同士の中から、番号(トークンID)のいちばん小さいかけらを先につなげます。早く作られたかけらほど番号が小さいので、番号の順番がルールの順番になっています。

本物のモデル(Gemma 3 4B (Q4_K_M, llama.cpp))に入れると、9 個のトークンIDになります。

  1. トーク186745
  2. ナイ75201
  3. ザー28798
  4. の236945
  5. エン42415
  6. コード51355
  7. と237032
  8. デ237549
  9. コード51355

「のエンコード」をつなげていく途中を、1手ずつ見てみましょう。

  1. の
  2. エ
  3. ン
  4. コ
  5. ー
  6. ド
  • のエ 118638
  • エン 42415
  • コー 30543
  • ード 9829

1 手め: つなげられる隣同士は 4 か所。いちばん番号が小さい「ード」(9829)をつなげます。

左から長いかけらを取るのではありません。番号の小さい順(学んだ順)につなげるので、結果が変わることがあります。

空白の印: Gemmaは空白も、かけらの一部として持っています(▁ の印)。デコードでは、この印を空白に戻してからつなげます。

  1. encode18016
  2. ▁decode39961

“unbelievably”4

  1. un602
  2. bel8145
  3. iev20873
  4. ably2579

“▁unbelievably”1

  1. ▁unbelievably170977

前に空白がつくかどうかで、別のトークンになります。

  1. F0<0xF0>ID 478
  2. A0<0xA0>ID 398
  3. AE<0xAE>ID 412
  4. B7<0xB7>ID 421
デコード(4 バイト中 4 バイト)𠮷

4 バイトがそろって、「𠮷」に戻りました。

Gemmaの表には、256 種類のバイトすべてに席があります(トークンID 238〜493)。表にない文字は、このバイトのトークンに分けて番号にします。動画の「𠮷」は、Gemmaでは 478, 398, 412, 421 でした。ここに出る番号は、その文字が表にない場合に使われるバイトの番号です(よく使う文字は、ふつう1つのトークンとして表にあります)。

エンコードしてデコードすると(本物のモデルで確かめた結果。左の数はトークン数)

  • 9トークナイザーのエンコードとデコード✓
  • 12𠮷野家で牛丼を食べた。✓
  • 11東京は晴れ、気温は23度。✓
  • 10フラミンゴ🦩はピンク色✓
  • 9LLMは1トークンずつ書く✓

数字や記号や絵文字をまぜても、すべて一文字も変わらずに戻りました。必ず元に戻るのが、トークナイザーの大事な性質です。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1できあがったトークナイザーで新しい文をエンコードするとき、マージのルールはどう使う?

Q2デコード(番号を文に戻す)に必要なものは?

Q3Gemmaの表にない文字(めずらしい漢字や絵文字)は、どうなる?

このページの小さなトークナイザーの学習・エンコード・デコードは、あなたのブラウザがその場で計算しています。本物のトークンとトークンIDは、言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp)、語彙 262,144 行)のトークナイザーからあらかじめ取り出したものです。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…