n-gram言語モデルの限界:なぜニューラルネットが必要か
直前の一語だけを見るバイグラムを、二語、三語と広げたものがn-gramです。ここでは一冊の本を丸ごと数えた本物のn-gramモデルを動かして、どこで行き詰まるのかを確かめます。
- POINT 1n-gramは、直前の数語を見て、次に来た言葉を数える方法。
- POINT 2見る語数を増やすと、表が爆発し、本の丸写しになる。
- POINT 3表は、見たことのない並びに答えられない。だからニューラルネットが必要になる。
TRY 1
見る語数を変えて、文章を作らせる
つまみで n を変えてください。n = 1 は何も見ずに言葉を並べるだけ、n = 2 が前回のバイグラム、n = 5 は直前の四語を見ます。ボタンを押すたびに、表の中の回数に比例したくじ引きで、次の言葉が一つ決まります。
吾輩は
本を数えています…
- この本にあった 3 語の並び42,295
- ありえる 3 語の並び242,153,851,337
- 候補が一つしかない行80%
数えた本: 夏目漱石『吾輩は猫である』第一〜三章。言葉と記号を合わせて 55,261 個、6,233 種類。表はこのページを開いたときに、あなたのブラウザの中で数えています。
TRY 2
表の大きさをくらべる
見る語数を一つ増やすたびに、ありえる並びの数は語彙の数だけ倍になります。ところが本の中に実際にある並びは、ほとんど増えません。表のほとんどが空っぽになり、残った行は候補が一つだけになっていきます。
n = 5 では、表の 96% の行が「次の候補は一つだけ」。くじを引く余地がなく、本をそのまま読み上げることになります。
| n | 本にあった並び | ありえる並び | 候補が一つだけ | 続きが表にある |
|---|---|---|---|---|
| n = 1 | 6,233 | 6,233 | — | 91% |
| n = 2 | 25,441 | 38,850,289 | 61% | 60% |
| n = 3 | 42,295 | 242,153,851,337 | 80% | 28% |
| n = 4 | 50,672 | 1,509,344,955,383,521 | 91% | 10% |
| n = 5 | 53,827 | 9,407,747,106,905,486,393 | 96% | 3.2% |
2 個の並びの数(11 桁)68719476736
宇宙にある原子の数のめやす(10の80乗、81 桁)100000000000000000000000000000000000000000000000000000000000000000000000000000000
つまみを右へ動かしてみてください。15 個で、宇宙にある原子の数を超えます。
上の表の数字は、すべて 夏目漱石『吾輩は猫である』第一〜三章 を実際に数えた結果です。
TRY 3
見たことのない並びに出会うと
本にある文と、その中の一語だけを似た言葉に取り替えた文を、表で引いてみます。見る語数のつまみを動かして、どこまで減らせば見つかるか試してください。最後に、同じ文を本物のLLMに入れた結果も見られます。
吾輩は猫で?
- 吾輩 は 猫 で表にある4 回。次に来たのは ある 3 · は 1
- は 猫 で表にある5 回。次に来たのは ある 3 · は 1 · 、 1
- 猫 で表にある19 回。次に来たのは ある 8 · は 2 · ない 2
- で表にある1,006 回。次に来たのは ある 188 · も 89 · は 68
本にある文なので、長い並びでも表に見つかります。次は、一語取り替えた文を選んでみてください。
- ある75%
- は25%
LLMの結果は Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp で実際に計算した確率です。このモデルの中の数字は 3,880,099,328 個。巨大ですが、ありえる並びをすべて書いた表に比べれば、はるかに小さい数です。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1n = 3 の n-gram(トライグラム)は、次の言葉を当てるときに何を見る?
Q2見る語数を増やすと、できる文章が本の丸写しになるのはなぜ?
Q3本に一度も出てこない並びを表で引くと、どうなる?
NEXT #6
LLMは文字をどう数値にするのか:トークンIDの基礎
ニューラルネットは計算をする仕組みなので、数しか扱えません。次回は、文字を数に変える方法、トークンIDを見ていきます。
このページのn-gramの数字は、すべて 夏目漱石『吾輩は猫である』第一〜三章 を実際に数えたものです。LLMの確率は本物の言語モデル(Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp)の出力です。計算はあなたのブラウザの中で行われ、サーバーには何も送られません。