バイグラム言語モデル:数えるだけで作る最小の言語モデル
LLMは、次の言葉の確率を出す機械でした。その確率は、じつは「数えるだけ」でも作れます。となり合う2つの言葉を数えて表にし、合計で割る。それだけで、文章を書く言語モデルになります。自分の文章で試してみましょう。
- POINT 1となり合う2つの言葉の並びがバイグラム。「次に何が来たか」を数えると表になる。
- POINT 2回数を合計で割ると、次の言葉の確率になる。
- POINT 3表を引いて、選んで、足す。それだけで文章が作れるが、見ているのは直前の1語だけ。
TRY 1
4つの文を数えて、表を作る
動画と同じ4つの文を、1文ずつ数えていきます。表の左が「前の言葉」、右が「その次に来た言葉」と回数です。文を足すたびに、回数と確率がどう変わるかを見てください。表の言葉を押すと、その行を3Dで見られます。
- 文頭猫は魚を食べる。
- 文頭犬は肉を食べる。
- 文頭猫は水を飲む。
- 文頭鳥は魚を見る。
1 文を数えました。「は」は 1 回出てきて、その次に来た言葉は下のとおりです。
- 魚×1
| 前の言葉 | 次に来た言葉と回数 |
|---|---|
| 猫×1 | |
| は×1 | |
| 魚×1 | |
| を×1 | |
| 食べる×1 | |
| 。×1 |
「文頭」は文の始まりを表す印です。最初に来る言葉も数えられるように、どの文の前にも置いてあります。
TRY 2
自分の文章で、バイグラムの表を作る
今度は自分の文章で試します。下の枠に好きな文章を入れて(最初は動画と同じ40の文が入っています)、ボタンを押すと、その場で数えて表を作ります。文章はどこにも送られません。
- 40文の数
- 58言葉の種類
- 3,364表のマス目(58 × 58)
- 138数が入ったマス(4.1%)
「は」は 40 回出てきて、次に来た言葉は 23 種類。いちばん多いのは「朝」(7.5%)です。
- 朝7.5%
- 庭7.5%
- 大きな7.5%
- 台所5.0%
- 学校5.0%
- 父5.0%
| 前の言葉 | 次に来た言葉と回数 |
|---|---|
| 猫×10犬×7子ども×6母×4鳥×3父×3公園×1… | |
| 朝×3庭×3大きな×3台所×2学校×2父×2木×2… | |
| 見る×3食べる×3飛ぶ×2待つ×2飲む×2焼く×1出る×1… | |
| は×11と×1が×1 | |
| 歌う×3遊ぶ×2魚×2眠る×2花×1犬×1 | |
| 好き×6ある×2いる×1 | |
| は×7と×2 | |
| は×6と×1が×1 | |
| だ×6 |
表のマス目は「言葉の種類 × 言葉の種類」だけありますが、数が入るのはごく一部です。空白なしの日本語は、ブラウザーの単語分割で区切ります。
TRY 3
表から、文章を作る
上で作った表を使って文章を作ります。いま見るのは、最後の言葉の行だけ。サイコロを振ると、回数に比例した確率で次の言葉が選ばれます。「。」などの文の終わりが出たらおしまいです。
?
「文頭」の行を見ています。候補は 13 種類。サイコロを振って、最初の言葉を決めましょう。
- 猫25%
- 犬18%
- 子ども15%
- 母10%
- 鳥7.5%
意味のおかしな文ができるのは、直前の1語しか見ていないからです。文章を長くしたり書きかえたりして、できる文がどう変わるか試してみてください。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1バイグラムとは?
Q2「は」が4回出てきて、その次が「魚」だったのが2回。バイグラムモデルで「は」の次が「魚」になる確率は?
Q3バイグラムモデルが、意味のおかしな文を作ってしまういちばんの理由は?
NEXT #5
n-gram言語モデルの限界:なぜニューラルネットが必要か
次回は、見る言葉を2語、3語と増やすとどうなるか。n-gram という考え方と、その限界を見ていきます。
このページの回数と確率は、すべてページ上の文章をあなたのブラウザーの中で実際に数えた結果です。文章はサーバーに送られません。