LLM(大規模言語モデル)とは?次の単語を予測する仕組み
LLMがやっていることは、たった一つ。「次に来る言葉を当てる」ことです。動画で見たその仕組みを、ここでは自分の手で動かして確かめます。
- POINT 1LLMは、次に来る言葉を当てる機械。
- POINT 2出てくるのは一つの答えではなく、すべての候補への確率。
- POINT 3一語当てて、足して、また当てる。そのくり返しで文章ができる。
TRY 1
あなたが言語モデルです。続きを当ててみよう
文の続きに来る言葉を、自分で考えて書いてみてください。そのあとで、本物のAIがつけた確率と比べます。あなたの予想は、AIの何位に入るでしょうか。
昔々、あるところに、?
挑戦した数0AIの1位と一致0AIの5位以内0
棒の高さは、AIがその言葉につけた確率です。「、」などの記号は候補から除いています。
TRY 2
一語ずつ書き足して、文章をのばす
LLMは、一語当てたらそれを文の後ろに足し、新しい文でまた次の一語を当てます。ボタンを押して、その一歩一歩を進めてみてください。1位以外の言葉を選ぶと、ちがう文章に分かれていきます。
昔々、あるところに、?
まず、次の一語を予測させてみましょう。
TRY 3
文が変わると、ランキングも変わる
同じ「冷蔵庫」という言葉でも、前にある文によって確率は大きく変わります。二つの文を切りかえて、棒の並びが入れかわるのを見てください。
文を切りかえる
「冷蔵庫」の確率: 一つめの文では 0.1%未満、二つめの文では 56%。LLMは、前にある言葉をすべて見て、次の一語を予測しています。
- おじいさん20%
- とても12%
- 美しい3.2%
- 心2.7%
- 魔法使い1.6%
- 冷蔵庫0.1%未満
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1LLMが文章を書くとき、中でやっていることは?
Q2LLMが一回の予測で出すものは?
Q3LLMは、長い文章をどうやって作る?
NEXT #2
LLMの文章生成の仕組み:自己回帰で1トークンずつ書く
次回は、「一語ずつ書き足す」動きをもっと細かく見ます。実は「一語」ではなく、「トークン」という単位で進んでいます。
このページの確率は、すべて本物の言語モデル(Gemma 3 4B)が計算した値です。あらかじめ計算した結果を使っているので、あなたが書いた言葉がサーバーに送られることはありません。