相談する

知識ゼロから完全に理解するLLM#4

バイグラム言語モデル:数えるだけで作る最小の言語モデル

LLMは、次の言葉の確率を出す機械でした。その確率は、じつは「数えるだけ」でも作れます。となり合う2つの言葉を数えて表にし、合計で割る。それだけで、文章を書く言語モデルになります。自分の文章で試してみましょう。

  • POINT 1となり合う2つの言葉の並びがバイグラム。「次に何が来たか」を数えると表になる。
  • POINT 2回数を合計で割ると、次の言葉の確率になる。
  • POINT 3表を引いて、選んで、足す。それだけで文章が作れるが、見ているのは直前の1語だけ。

TRY 1

4つの文を数えて、表を作る

動画と同じ4つの文を、1文ずつ数えていきます。表の左が「前の言葉」、右が「その次に来た言葉」と回数です。文を足すたびに、回数と確率がどう変わるかを見てください。表の言葉を押すと、その行を3Dで見られます。

  1. 文頭猫は魚を食べる。
  2. 文頭犬は肉を食べる。
  3. 文頭猫は水を飲む。
  4. 文頭鳥は魚を見る。

1 文を数えました。「は」は 1 回出てきて、その次に来た言葉は下のとおりです。

  • 魚×1
前の言葉次に来た言葉と回数
猫×1
は×1
魚×1
を×1
食べる×1
。×1

「文頭」は文の始まりを表す印です。最初に来る言葉も数えられるように、どの文の前にも置いてあります。

TRY 2

自分の文章で、バイグラムの表を作る

今度は自分の文章で試します。下の枠に好きな文章を入れて(最初は動画と同じ40の文が入っています)、ボタンを押すと、その場で数えて表を作ります。文章はどこにも送られません。

  • 40文の数
  • 58言葉の種類
  • 3,364表のマス目(58 × 58)
  • 138数が入ったマス(4.1%)

「は」は 40 回出てきて、次に来た言葉は 23 種類。いちばん多いのは「朝」(7.5%)です。

  • 朝7.5%
  • 庭7.5%
  • 大きな7.5%
  • 台所5.0%
  • 学校5.0%
  • 父5.0%
前の言葉次に来た言葉と回数
猫×10犬×7子ども×6母×4鳥×3父×3公園×1…
朝×3庭×3大きな×3台所×2学校×2父×2木×2…
見る×3食べる×3飛ぶ×2待つ×2飲む×2焼く×1出る×1…
は×11と×1が×1
歌う×3遊ぶ×2魚×2眠る×2花×1犬×1
好き×6ある×2いる×1
は×7と×2
は×6と×1が×1
だ×6

表のマス目は「言葉の種類 × 言葉の種類」だけありますが、数が入るのはごく一部です。空白なしの日本語は、ブラウザーの単語分割で区切ります。

TRY 3

表から、文章を作る

上で作った表を使って文章を作ります。いま見るのは、最後の言葉の行だけ。サイコロを振ると、回数に比例した確率で次の言葉が選ばれます。「。」などの文の終わりが出たらおしまいです。

?

「文頭」の行を見ています。候補は 13 種類。サイコロを振って、最初の言葉を決めましょう。

  • 猫25%
  • 犬18%
  • 子ども15%
  • 母10%
  • 鳥7.5%

意味のおかしな文ができるのは、直前の1語しか見ていないからです。文章を長くしたり書きかえたりして、できる文がどう変わるか試してみてください。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1バイグラムとは?

Q2「は」が4回出てきて、その次が「魚」だったのが2回。バイグラムモデルで「は」の次が「魚」になる確率は?

Q3バイグラムモデルが、意味のおかしな文を作ってしまういちばんの理由は?

このページの回数と確率は、すべてページ上の文章をあなたのブラウザーの中で実際に数えた結果です。文章はサーバーに送られません。