日本語のトークン数はなぜ多い?LLMと言語ごとのトークン化
日本語は英語よりトークンが多い、と言われます。本当でしょうか。このページでは、同じ内容の文を言語ごと・トークナイザーごとに切って数え、差がどこから来るのかを自分の手で確かめます。
- POINT 1同じ内容でも、言語とトークナイザーによってトークンの数は大きく変わる。
- POINT 2語彙は数えた文章で決まる。よく数えた言語ほど、長いかけらにまとまる。
- POINT 3トークンの数は、料金・一度に読める長さ・書く速さを左右する。
TRY 1
同じ内容を、2つの言語で切る
同じ内容の文を、2つの言語で並べます。上のボタンで言語を、下のボタンでトークナイザーを選ぶと、色分けされたトークンと、その数が変わります。灰色の小さな箱は、文字になっていないバイトのかけら(16進数)です。
日本語67文字・201バイト38
- 昨日
- 、
- 友
- だ
- ち
- と
- 駅
- の
- 近く
- の
- 小さな
- 店
- で
- 昼
- ごはん
- を食べ
- ました
- 。
- 料理
- は
- とても
- おい
- しくて
- 、
- 値段
- も
- 安
- かったです
- 。
- 来
- 週
- また
- 一緒
- に行く
- 約束
- を
- しました
- 。
英語174文字・174バイト37
- Yesterday
- ␣I
- ␣had
- ␣lunch
- ␣with
- ␣a
- ␣friend
- ␣at
- ␣a
- ␣small
- ␣restaurant
- ␣near
- ␣the
- ␣station
- .
- ␣The
- ␣food
- ␣was
- ␣very
- ␣good
- ,
- ␣and
- ␣the
- ␣prices
- ␣were
- ␣low
- .
- ␣We
- ␣promised
- ␣to
- ␣go
- ␣there
- ␣together
- ␣again
- ␣next
- ␣week
- .
Gemma 3(2025年)では、日本語は 38 トークン、英語は 37 トークン。日本語は英語の 1.03 倍です。
トークンは、本物のトークナイザー(Gemma 3 4B と GPT-2)で一度だけ切って、このページに入れてあります。訳は制作チームによるもので、どの言語も同じ内容です。
TRY 2
12の言語で比べる
同じ文を12の言語で書きました。トークンの少ない順に並べます。GPT-2 と Gemma を切りかえて、どの言語がどれだけ変わるかを見てください。
- 英語37
- スペイン語60
- フランス語70
- クロアチア語77
- ドイツ語81
- 日本語95
- 中国語97
- アラビア語139
- 韓国語159
- ロシア語186
- ヒンディー語240
- タイ語252
GPT-2(2019年)でいちばん多いのはタイ語で 252 トークン。英語(37 トークン)の 6.8 倍です。
GPT-2 の語彙は 50,257 個で、かなを含むものは 127 個だけ。英語のウェブページから作られたため、ほかの言語は小さなかけらやバイトに分かれます。Gemma の語彙は 262,144 個で、かなを含むものが 4,886 個あります。
TRY 3
数える文章の割合を変えて、BPEを学習する
第4回から使っている40文(日本語・英語・クロアチア語)をまとめて、文字から始めるBPEで語彙を学習します。つまみで、それぞれの言語を何回分数えるかと、マージの回数を決めてください。学習はこのブラウザの中で行います。
何回分数えるか(0 = 数えない)
210← 339日本語の40文(トークン ← 文字)
372← 986英語の40文(トークン ← 文字)
343← 725クロアチア語の40文(トークン ← 文字)
30/ 150日本語の並びをまとめたマージ
40文は、日本語 210・英語 372・クロアチア語 343 トークンになりました。150 回のマージのうち、日本語の並びをまとめたのは 30 回です。
- 猫は
- 朝早く
- 起
- き
- る
5 トークン
動画と同じ実験です。英語を4回分にすると日本語の40文は276トークン、日本語を4回分にすると136トークン(マージは150回)。同点のときは、先に見つかったペアを選びます。英語とクロアチア語は小文字にして、単語の中だけでペアを作ります。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1GPT-2 で、日本語のトークンが英語の2倍以上になったいちばんの理由は?
Q2数える文章の中で、日本語の割合を増やして学習すると?
Q3一度に読めるトークン数が同じとき、トークンの多い言語では?
NEXT #14
特殊トークンとチャットテンプレート:LLMが会話を読む形式
次回は、トークンの列にまぎれた特別な印、特殊トークンとチャットテンプレートです。会話がモデルの中でどんな形の列になっているかを見ます。
このページのトークンは、Gemma 3 4B (Q4_K_M, llama.cpp) と GPT-2 (tiktoken gpt2, 50,257) のトークナイザーから一度だけ取り出したものです。BPEの学習は、あなたのブラウザの中で計算しています。サーバーには何も送りません。