相談する

知識ゼロから完全に理解するLLM#13

日本語のトークン数はなぜ多い?LLMと言語ごとのトークン化

日本語は英語よりトークンが多い、と言われます。本当でしょうか。このページでは、同じ内容の文を言語ごと・トークナイザーごとに切って数え、差がどこから来るのかを自分の手で確かめます。

  • POINT 1同じ内容でも、言語とトークナイザーによってトークンの数は大きく変わる。
  • POINT 2語彙は数えた文章で決まる。よく数えた言語ほど、長いかけらにまとまる。
  • POINT 3トークンの数は、料金・一度に読める長さ・書く速さを左右する。
動画は準備中です公開されると、ここで見られるようになります。

TRY 1

同じ内容を、2つの言語で切る

同じ内容の文を、2つの言語で並べます。上のボタンで言語を、下のボタンでトークナイザーを選ぶと、色分けされたトークンと、その数が変わります。灰色の小さな箱は、文字になっていないバイトのかけら(16進数)です。

文:

日本語67文字・201バイト38

  1. 昨日
  2. 、
  3. 友
  4. だ
  5. ち
  6. と
  7. 駅
  8. の
  9. 近く
  10. の
  11. 小さな
  12. 店
  13. で
  14. 昼
  15. ごはん
  16. を食べ
  17. ました
  18. 。
  19. 料理
  20. は
  21. とても
  22. おい
  23. しくて
  24. 、
  25. 値段
  26. も
  27. 安
  28. かったです
  29. 。
  30. 来
  31. 週
  32. また
  33. 一緒
  34. に行く
  35. 約束
  36. を
  37. しました
  38. 。

英語174文字・174バイト37

  1. Yesterday
  2. ␣I
  3. ␣had
  4. ␣lunch
  5. ␣with
  6. ␣a
  7. ␣friend
  8. ␣at
  9. ␣a
  10. ␣small
  11. ␣restaurant
  12. ␣near
  13. ␣the
  14. ␣station
  15. .
  16. ␣The
  17. ␣food
  18. ␣was
  19. ␣very
  20. ␣good
  21. ,
  22. ␣and
  23. ␣the
  24. ␣prices
  25. ␣were
  26. ␣low
  27. .
  28. ␣We
  29. ␣promised
  30. ␣to
  31. ␣go
  32. ␣there
  33. ␣together
  34. ␣again
  35. ␣next
  36. ␣week
  37. .

Gemma 3(2025年)では、日本語は 38 トークン、英語は 37 トークン。日本語は英語の 1.03 倍です。

トークンは、本物のトークナイザー(Gemma 3 4B と GPT-2)で一度だけ切って、このページに入れてあります。訳は制作チームによるもので、どの言語も同じ内容です。

TRY 2

12の言語で比べる

同じ文を12の言語で書きました。トークンの少ない順に並べます。GPT-2 と Gemma を切りかえて、どの言語がどれだけ変わるかを見てください。

文:
  • 英語37
  • スペイン語60
  • フランス語70
  • クロアチア語77
  • ドイツ語81
  • 日本語95
  • 中国語97
  • アラビア語139
  • 韓国語159
  • ロシア語186
  • ヒンディー語240
  • タイ語252

GPT-2(2019年)でいちばん多いのはタイ語で 252 トークン。英語(37 トークン)の 6.8 倍です。

GPT-2 の語彙は 50,257 個で、かなを含むものは 127 個だけ。英語のウェブページから作られたため、ほかの言語は小さなかけらやバイトに分かれます。Gemma の語彙は 262,144 個で、かなを含むものが 4,886 個あります。

TRY 3

数える文章の割合を変えて、BPEを学習する

第4回から使っている40文(日本語・英語・クロアチア語)をまとめて、文字から始めるBPEで語彙を学習します。つまみで、それぞれの言語を何回分数えるかと、マージの回数を決めてください。学習はこのブラウザの中で行います。

何回分数えるか(0 = 数えない)

210← 339日本語の40文(トークン ← 文字)

372← 986英語の40文(トークン ← 文字)

343← 725クロアチア語の40文(トークン ← 文字)

30/ 150日本語の並びをまとめたマージ

40文は、日本語 210・英語 372・クロアチア語 343 トークンになりました。150 回のマージのうち、日本語の並びをまとめたのは 30 回です。

40文から:
  1. 猫は
  2. 朝早く
  3. 起
  4. き
  5. る

5 トークン

動画と同じ実験です。英語を4回分にすると日本語の40文は276トークン、日本語を4回分にすると136トークン(マージは150回)。同点のときは、先に見つかったペアを選びます。英語とクロアチア語は小文字にして、単語の中だけでペアを作ります。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1GPT-2 で、日本語のトークンが英語の2倍以上になったいちばんの理由は?

Q2数える文章の中で、日本語の割合を増やして学習すると?

Q3一度に読めるトークン数が同じとき、トークンの多い言語では?

このページのトークンは、Gemma 3 4B (Q4_K_M, llama.cpp) と GPT-2 (tiktoken gpt2, 50,257) のトークナイザーから一度だけ取り出したものです。BPEの学習は、あなたのブラウザの中で計算しています。サーバーには何も送りません。