相談する

知識ゼロから完全に理解するLLM#5

n-gram言語モデルの限界:なぜニューラルネットが必要か

直前の一語だけを見るバイグラムを、二語、三語と広げたものがn-gramです。ここでは一冊の本を丸ごと数えた本物のn-gramモデルを動かして、どこで行き詰まるのかを確かめます。

  • POINT 1n-gramは、直前の数語を見て、次に来た言葉を数える方法。
  • POINT 2見る語数を増やすと、表が爆発し、本の丸写しになる。
  • POINT 3表は、見たことのない並びに答えられない。だからニューラルネットが必要になる。

TRY 1

見る語数を変えて、文章を作らせる

つまみで n を変えてください。n = 1 は何も見ずに言葉を並べるだけ、n = 2 が前回のバイグラム、n = 5 は直前の四語を見ます。ボタンを押すたびに、表の中の回数に比例したくじ引きで、次の言葉が一つ決まります。

吾輩は

本を数えています…

  • この本にあった 3 語の並び42,295
  • ありえる 3 語の並び242,153,851,337
  • 候補が一つしかない行80%

数えた本: 夏目漱石『吾輩は猫である』第一〜三章。言葉と記号を合わせて 55,261 個、6,233 種類。表はこのページを開いたときに、あなたのブラウザの中で数えています。

TRY 2

表の大きさをくらべる

見る語数を一つ増やすたびに、ありえる並びの数は語彙の数だけ倍になります。ところが本の中に実際にある並びは、ほとんど増えません。表のほとんどが空っぽになり、残った行は候補が一つだけになっていきます。

棒グラフで見るもの

n = 5 では、表の 96% の行が「次の候補は一つだけ」。くじを引く余地がなく、本をそのまま読み上げることになります。

n本にあった並びありえる並び候補が一つだけ続きが表にある
n = 16,2336,233—91%
n = 225,44138,850,28961%60%
n = 342,295242,153,851,33780%28%
n = 450,6721,509,344,955,383,52191%10%
n = 553,8279,407,747,106,905,486,39396%3.2%

2 個の並びの数(11 桁)68719476736

宇宙にある原子の数のめやす(10の80乗、81 桁)100000000000000000000000000000000000000000000000000000000000000000000000000000000

つまみを右へ動かしてみてください。15 個で、宇宙にある原子の数を超えます。

上の表の数字は、すべて 夏目漱石『吾輩は猫である』第一〜三章 を実際に数えた結果です。

TRY 3

見たことのない並びに出会うと

本にある文と、その中の一語だけを似た言葉に取り替えた文を、表で引いてみます。見る語数のつまみを動かして、どこまで減らせば見つかるか試してください。最後に、同じ文を本物のLLMに入れた結果も見られます。

調べる文をえらぶ

吾輩は猫で?

  • 吾輩 は 猫 で表にある4 回。次に来たのは ある 3 · は 1
  • は 猫 で表にある5 回。次に来たのは ある 3 · は 1 · 、 1
  • 猫 で表にある19 回。次に来たのは ある 8 · は 2 · ない 2
  • で表にある1,006 回。次に来たのは ある 188 · も 89 · は 68

本にある文なので、長い並びでも表に見つかります。次は、一語取り替えた文を選んでみてください。

  • ある75%
  • は25%

LLMの結果は Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp で実際に計算した確率です。このモデルの中の数字は 3,880,099,328 個。巨大ですが、ありえる並びをすべて書いた表に比べれば、はるかに小さい数です。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1n = 3 の n-gram(トライグラム)は、次の言葉を当てるときに何を見る?

Q2見る語数を増やすと、できる文章が本の丸写しになるのはなぜ?

Q3本に一度も出てこない並びを表で引くと、どうなる?

このページのn-gramの数字は、すべて 夏目漱石『吾輩は猫である』第一〜三章 を実際に数えたものです。LLMの確率は本物の言語モデル(Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp)の出力です。計算はあなたのブラウザの中で行われ、サーバーには何も送られません。