トークン化とは?文字・単語・サブワードの違い
LLMは、文を読む前に、まず「トークン」に切ります。何を1つの単位にするかには、文字・単語・サブワードの3つの方法があります。このページでは、同じ文を3通りに切って個数をくらべ、単語の表が小さいと何が起きるかを、自分の手で確かめます。サブワードの切り方は、本物のモデルのものです。
- POINT 1文字で切ると、表は小さいが、列が長くなる。1文字には、ほとんど意味がない。
- POINT 2単語で切ると、列は短いが、表がどこまでも大きくなり、表にない単語は「知らない単語」になる。
- POINT 3サブワードは、よく使う言葉はまるごと、めずらしい言葉はかけらに分ける。知らない単語がない。
TRY 1
同じ文を、3通りに切る
文を選んで、切り方を切りかえてみましょう。文字、単語、サブワードで、トークンの個数がどう変わるでしょうか。サブワードは、本物のモデル(Gemma 3 4B)が実際に使っている切り方です。自分の文を入れて、文字と単語で切ることもできます。
- ト
- ー
- ク
- ン
- 化
- は
- 、
- 文
- を
- 小
- さ
- く
- 切
- る
- 作
- 業
- で
- す
- 。
文字で切ると 19 個。1文字が1トークンです。空白や句読点も1個に数えます。
用意した文の単語は、動画と同じ方法で切っています(日本語は形態素解析の辞書、英語などは空白と記号)。自分で入れた文の単語は、ブラウザに入っている単語の区切り機能で切るので、少しちがうことがあります。入力した文は、どこにも送りません。
TRY 2
単語の表の大きさを変える
1冊の本に出てくる単語を、多い順に並べて「単語の表」を作りました。スライダーで、表を上から何行まで使うかを決めます。表にない単語は、全部 [UNK](知らない単語)になります。表を大きくしても、[UNK] が消えない文があることを確かめてください。
- [UNK]スマホ
- で#11
- [UNK]動画
- を#5
- 見る#73
- 。#2
『吾輩は猫である』の単語を全部(6,233 行)入れても、2 個が [UNK] のままです。この本に一度も出てこない単語だからです。
夏目漱石『吾輩は猫である』を読み進めたときの、種類の数です。文字は 2,181 種類で落ち着きますが、単語は 6,233 種類まで増えつづけ、最後の1割でも 428 個の新しい単語が出てきます。単語のうち 3,344 種類(54%)は、本の中に1回しか出てきません。オレンジの点線が、いま選んでいる表の大きさです。
行の番号(#)は、その単語が本の中で何番目に多いかです。句読点も1つの単語として数えています。
TRY 3
サブワード:まるごと、かけら、新しい言葉
言葉を選ぶと、本物のモデルがそれをどう切るかが見られます。よく使う言葉は1トークン。めずらしい言葉や、最近生まれた言葉、でたらめに作った言葉は、表にあるかけらに分かれます。下の番号は、そのかけらのトークンIDです。
- トーク#186,745
- ン#237,023
- 化#237,474
「トークン化」は、3 個のかけらに分かれます。どのかけらも表にあるので、「知らない単語」にはなりません。
このモデルの表は 262,144 行。そのうち 19,225 行は1文字だけのトークン、236,249 行は2文字以上のかけらや単語です。だから、どんな言葉でも、最後は1文字ずつに分ければ必ず表せます。
おまけ:「この文字は何個?」を20語でためした結果(20 問中 11 問正解)
英語で「strawberry に r は何回出てきますか」という形の質問を、20個の単語でモデルにしました。モデルが見ているのは文字ではなくトークンの番号なので、つづりを直接数えることができません。これが、まちがえやすい理由の1つです。
| 単語 | 文字 | 正解 | モデルの答え |
|---|---|---|---|
| strawberry | r | 3 | 3 ✓ |
| banana | a | 3 | 3 ✓ |
| mississippi | s | 4 | 4 ✓ |
| committee | e | 2 | 3 ✗ |
| bookkeeper | e | 3 | 3 ✓ |
| raspberry | r | 3 | 3 ✓ |
| parallel | l | 3 | 3 ✓ |
| occurrence | c | 3 | 3 ✓ |
| assessment | s | 4 | 3 ✗ |
| blueberry | r | 2 | 2 ✓ |
| coffee | f | 2 | 1 ✗ |
| letter | t | 2 | 2 ✓ |
| giraffe | f | 2 | 1 ✗ |
| balloon | l | 2 | 2 ✓ |
| necessary | s | 2 | 3 ✗ |
| embarrass | r | 2 | 3 ✗ |
| tomorrow | r | 2 | 2 ✓ |
| hippopotamus | p | 3 | 2 ✗ |
| refrigerator | r | 4 | 3 ✗ |
| successful | c | 2 | 3 ✗ |
切り方は、意味や文法の切れ目とは限りません。大量の文章の中で「どの並びがよく出てくるか」で決まります。その決め方(BPE)は、次回です。
CHECK
たしかめクイズ
今日わかったことを、三つの問題でたしかめましょう。
Q1文字で切る方法の弱点は?
Q2単語の表にない単語は、どうなる?
Q3サブワードの切り方として、正しいのは?
NEXT #10
BPE(バイトペアエンコーディング)入門①:ペアをマージする
次回は、そのかけらをどうやって決めるのか。BPE(バイトペアエンコーディング)の最初の一手、「いちばん多い隣どうしのペアを、一つにまとめる」を、手でやってみます。
サブワードの切り方とトークンID、表の行数、文字を数える実験の答えは、すべて本物の言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp))で実際に調べたものです。単語の表は、夏目漱石『吾輩は猫である』に出てくる単語を数えて作りました。あらかじめ計算した結果を使っているので、サーバーには何も送りません。