相談する

知識ゼロから完全に理解するLLM#9

トークン化とは?文字・単語・サブワードの違い

LLMは、文を読む前に、まず「トークン」に切ります。何を1つの単位にするかには、文字・単語・サブワードの3つの方法があります。このページでは、同じ文を3通りに切って個数をくらべ、単語の表が小さいと何が起きるかを、自分の手で確かめます。サブワードの切り方は、本物のモデルのものです。

  • POINT 1文字で切ると、表は小さいが、列が長くなる。1文字には、ほとんど意味がない。
  • POINT 2単語で切ると、列は短いが、表がどこまでも大きくなり、表にない単語は「知らない単語」になる。
  • POINT 3サブワードは、よく使う言葉はまるごと、めずらしい言葉はかけらに分ける。知らない単語がない。

TRY 1

同じ文を、3通りに切る

文を選んで、切り方を切りかえてみましょう。文字、単語、サブワードで、トークンの個数がどう変わるでしょうか。サブワードは、本物のモデル(Gemma 3 4B)が実際に使っている切り方です。自分の文を入れて、文字と単語で切ることもできます。

文を選ぶ:
  1. ト
  2. ー
  3. ク
  4. ン
  5. 化
  6. は
  7. 、
  8. 文
  9. を
  10. 小
  11. さ
  12. く
  13. 切
  14. る
  15. 作
  16. 業
  17. で
  18. す
  19. 。

文字で切ると 19 個。1文字が1トークンです。空白や句読点も1個に数えます。

用意した文の単語は、動画と同じ方法で切っています(日本語は形態素解析の辞書、英語などは空白と記号)。自分で入れた文の単語は、ブラウザに入っている単語の区切り機能で切るので、少しちがうことがあります。入力した文は、どこにも送りません。

TRY 2

単語の表の大きさを変える

1冊の本に出てくる単語を、多い順に並べて「単語の表」を作りました。スライダーで、表を上から何行まで使うかを決めます。表にない単語は、全部 [UNK](知らない単語)になります。表を大きくしても、[UNK] が消えない文があることを確かめてください。

文を選ぶ:
6,233 行
  1. [UNK]スマホ
  2. で#11
  3. [UNK]動画
  4. を#5
  5. 見る#73
  6. 。#2

『吾輩は猫である』の単語を全部(6,233 行)入れても、2 個が [UNK] のままです。この本に一度も出てこない単語だからです。

単語 6,233文字 2,181読んだ単語の数(全部で 55,261 個)→

夏目漱石『吾輩は猫である』を読み進めたときの、種類の数です。文字は 2,181 種類で落ち着きますが、単語は 6,233 種類まで増えつづけ、最後の1割でも 428 個の新しい単語が出てきます。単語のうち 3,344 種類(54%)は、本の中に1回しか出てきません。オレンジの点線が、いま選んでいる表の大きさです。

行の番号(#)は、その単語が本の中で何番目に多いかです。句読点も1つの単語として数えています。

TRY 3

サブワード:まるごと、かけら、新しい言葉

言葉を選ぶと、本物のモデルがそれをどう切るかが見られます。よく使う言葉は1トークン。めずらしい言葉や、最近生まれた言葉、でたらめに作った言葉は、表にあるかけらに分かれます。下の番号は、そのかけらのトークンIDです。

表にない言葉:
よく使う言葉:
形の似た言葉:
新しい言葉・でたらめな言葉:
  1. トーク#186,745
  2. ン#237,023
  3. 化#237,474

「トークン化」は、3 個のかけらに分かれます。どのかけらも表にあるので、「知らない単語」にはなりません。

このモデルの表は 262,144 行。そのうち 19,225 行は1文字だけのトークン、236,249 行は2文字以上のかけらや単語です。だから、どんな言葉でも、最後は1文字ずつに分ければ必ず表せます。

おまけ:「この文字は何個?」を20語でためした結果(20 問中 11 問正解)

英語で「strawberry に r は何回出てきますか」という形の質問を、20個の単語でモデルにしました。モデルが見ているのは文字ではなくトークンの番号なので、つづりを直接数えることができません。これが、まちがえやすい理由の1つです。

単語文字正解モデルの答え
strawberryr33 ✓
bananaa33 ✓
mississippis44 ✓
committeee23 ✗
bookkeepere33 ✓
raspberryr33 ✓
parallell33 ✓
occurrencec33 ✓
assessments43 ✗
blueberryr22 ✓
coffeef21 ✗
lettert22 ✓
giraffef21 ✗
balloonl22 ✓
necessarys23 ✗
embarrassr23 ✗
tomorrowr22 ✓
hippopotamusp32 ✗
refrigeratorr43 ✗
successfulc23 ✗

切り方は、意味や文法の切れ目とは限りません。大量の文章の中で「どの並びがよく出てくるか」で決まります。その決め方(BPE)は、次回です。

CHECK

たしかめクイズ

今日わかったことを、三つの問題でたしかめましょう。

Q1文字で切る方法の弱点は?

Q2単語の表にない単語は、どうなる?

Q3サブワードの切り方として、正しいのは?

サブワードの切り方とトークンID、表の行数、文字を数える実験の答えは、すべて本物の言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp))で実際に調べたものです。単語の表は、夏目漱石『吾輩は猫である』に出てくる単語を数えて作りました。あらかじめ計算した結果を使っているので、サーバーには何も送りません。