相談する

知識ゼロから完全に理解するLLM#7

LLMのパラメータとは?モデルは巨大な関数

モデルは、数を入れると数が出てくる「関数」です。そのふるまいを決めている数が「パラメータ」。このページでは、つまみ(パラメータ)を自分で回して、同じ箱が別の仕事をするようになる様子を確かめます。最後に、本物のLLMのパラメータを入れ替える実験の結果を見ます。

  • POINT 1関数は、数を入れると決まった規則で数が出てくる箱。同じ入力には、必ず同じ出力。
  • POINT 2関数のふるまいを決める数がパラメータ。値を変えると、同じ箱が別の仕事をする。
  • POINT 3LLMは、約39億個のパラメータで決まる1つの巨大な関数。値と置き場所がすべてを決める。

TRY 1

つまみを回して、箱の仕事を変える

この箱の規則は「出力 = a × 入力 + b」。a と b の2つがつまみ(パラメータ)です。式の形はそのままで、つまみの値だけを変えて、3つのちがう仕事をさせてみましょう。つまみはドラッグしても、スライダーや − + ボタンでも回せます。

出力 = 1 × 入力 + 0

1
0
箱にさせたい仕事を選ぶ:
目標:「2倍して1を足す」になるように、つまみを合わせる
入力目標の出力今の出力
131
252
373
5115
102110

つまみを回して、今の出力を目標に合わせましょう。いま 5 行のうち 0 行が合っています。

棒グラフは、表の入力それぞれに対する今の出力です。目標と一致した棒は緑になります。計算はすべて、あなたのブラウザの中で行っています。

TRY 2

つまみを増やすと、複雑な関係を表せる

オレンジの点の並びに、水色の線を合わせてみましょう。つまみが2個では、まっすぐな線しか引けません。4個、8個と増やすと、曲がりくねった点にも合わせられるようになります。手で合わせるのは大変なので、自動で合わせるボタンもあります。

つまみの数を選ぶ:点とのずれ: 0.593
0
0

つまみ 2 個で合わせられる限界は、ずれ 0.297 です。つまみを回すか、「自動で合わせる」を押してみましょう。

線の式は k1 + k2·x + k3·x² + … です。「自動で合わせる」は、ずれがいちばん小さくなるつまみの値を計算します(最小二乗法)。本物のLLMでは、この「自動で合わせる」にあたる作業を「学習」と呼びます。

TRY 3

本物のLLMのパラメータを入れ替える

本物のモデル(Gemma 3 4B)には、つまみが約39億個あります。その値を1つも変えずに、置き場所だけを入れ替えたら、出力はどうなるでしょうか。つまみを回して、入れ替える割合を増やしてみてください。出てくる候補と続きは、すべて実際にモデルを動かして測ったものです。

0%

モデルが書いた続き日本で一番高い山は富士山です。標高は3,776.2

もとのモデルです。「富士」が 94% で1位。正しく続きを書いています。つまみを回して、パラメータを入れ替えてみましょう。

入力の文を選ぶ:

本物のパラメータの一部です(全部で 3,880,099,328 個、ファイルは約 2.49 GB)。どれも、ゼロに近い小さな数です。

  1. +0.01539
  2. −0.00377
  3. +0.00006
  4. −0.00377
  5. +0.01156
  6. −0.00760
  7. +0.00773
  8. −0.01143
  9. −0.00377
  10. −0.01143
  11. −0.02293
  12. +0.01156
  13. −0.01143
  14. +0.00389
  15. +0.00006
  16. +0.01922
  17. +0.01922
  18. +0.01539
  19. +0.01156
  20. −0.00377
  21. +0.00773
  22. −0.03826
  23. +0.01539
  24. −0.03826

入れ替えは、近くにある256個をひとかたまりにして、同じ部品の中の別の場所へ移しています(乱数で1回だけ試した結果です)。同じ割合でも、どこが入れ替わるかで壊れ方は変わります。0.1%で片方の文だけ壊れているのは、そのためです。

CHECK

たしかめクイズ

今日わかったことを、三つの問題でたしかめましょう。

Q1「パラメータ」とは何?

Q2同じ文を2回入力すると、次のトークンの確率は?

Q3パラメータの値を変えずに、置き場所だけを全部入れ替えると?

「本物のLLMのパラメータを入れ替える」の候補・確率・続きの文と、パラメータの値は、すべて本物の言語モデル(Gemma 3 4B、パラメータ 3,880,099,328 個)で実際に測ったものです。あらかじめ計算した結果を使っているので、サーバーには何も送りません。つまみの計算は、あなたのブラウザがその場で行っています。