相談する

知識ゼロから完全に理解するLLM#1

LLM(大規模言語モデル)とは?次の単語を予測する仕組み

LLMがやっていることは、たった一つ。「次に来る言葉を当てる」ことです。動画で見たその仕組みを、ここでは自分の手で動かして確かめます。

  • POINT 1LLMは、次に来る言葉を当てる機械。
  • POINT 2出てくるのは一つの答えではなく、すべての候補への確率。
  • POINT 3一語当てて、足して、また当てる。そのくり返しで文章ができる。

TRY 1

あなたが言語モデルです。続きを当ててみよう

文の続きに来る言葉を、自分で考えて書いてみてください。そのあとで、本物のAIがつけた確率と比べます。あなたの予想は、AIの何位に入るでしょうか。

昔々、あるところに、?

思いつかないときは、ここから選んでもOK

挑戦した数0AIの1位と一致0AIの5位以内0

棒の高さは、AIがその言葉につけた確率です。「、」などの記号は候補から除いています。

TRY 2

一語ずつ書き足して、文章をのばす

LLMは、一語当てたらそれを文の後ろに足し、新しい文でまた次の一語を当てます。ボタンを押して、その一歩一歩を進めてみてください。1位以外の言葉を選ぶと、ちがう文章に分かれていきます。

昔々、あるところに、?

まず、次の一語を予測させてみましょう。

TRY 3

文が変わると、ランキングも変わる

同じ「冷蔵庫」という言葉でも、前にある文によって確率は大きく変わります。二つの文を切りかえて、棒の並びが入れかわるのを見てください。

文を切りかえる

「冷蔵庫」の確率: 一つめの文では 0.1%未満、二つめの文では 56%。LLMは、前にある言葉をすべて見て、次の一語を予測しています。

  • おじいさん20%
  • とても12%
  • 美しい3.2%
  • 心2.7%
  • 魔法使い1.6%
  • 冷蔵庫0.1%未満

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1LLMが文章を書くとき、中でやっていることは?

Q2LLMが一回の予測で出すものは?

Q3LLMは、長い文章をどうやって作る?

このページの確率は、すべて本物の言語モデル(Gemma 3 4B)が計算した値です。あらかじめ計算した結果を使っているので、あなたが書いた言葉がサーバーに送られることはありません。