LLMのパラメータとは?モデルは巨大な関数
モデルは、数を入れると数が出てくる「関数」です。そのふるまいを決めている数が「パラメータ」。このページでは、つまみ(パラメータ)を自分で回して、同じ箱が別の仕事をするようになる様子を確かめます。最後に、本物のLLMのパラメータを入れ替える実験の結果を見ます。
- POINT 1関数は、数を入れると決まった規則で数が出てくる箱。同じ入力には、必ず同じ出力。
- POINT 2関数のふるまいを決める数がパラメータ。値を変えると、同じ箱が別の仕事をする。
- POINT 3LLMは、約39億個のパラメータで決まる1つの巨大な関数。値と置き場所がすべてを決める。
TRY 1
つまみを回して、箱の仕事を変える
この箱の規則は「出力 = a × 入力 + b」。a と b の2つがつまみ(パラメータ)です。式の形はそのままで、つまみの値だけを変えて、3つのちがう仕事をさせてみましょう。つまみはドラッグしても、スライダーや − + ボタンでも回せます。
出力 = 1 × 入力 + 0
| 入力 | 目標の出力 | 今の出力 |
|---|---|---|
| 1 | 3 | 1 |
| 2 | 5 | 2 |
| 3 | 7 | 3 |
| 5 | 11 | 5 |
| 10 | 21 | 10 |
つまみを回して、今の出力を目標に合わせましょう。いま 5 行のうち 0 行が合っています。
棒グラフは、表の入力それぞれに対する今の出力です。目標と一致した棒は緑になります。計算はすべて、あなたのブラウザの中で行っています。
TRY 2
つまみを増やすと、複雑な関係を表せる
オレンジの点の並びに、水色の線を合わせてみましょう。つまみが2個では、まっすぐな線しか引けません。4個、8個と増やすと、曲がりくねった点にも合わせられるようになります。手で合わせるのは大変なので、自動で合わせるボタンもあります。
つまみ 2 個で合わせられる限界は、ずれ 0.297 です。つまみを回すか、「自動で合わせる」を押してみましょう。
線の式は k1 + k2·x + k3·x² + … です。「自動で合わせる」は、ずれがいちばん小さくなるつまみの値を計算します(最小二乗法)。本物のLLMでは、この「自動で合わせる」にあたる作業を「学習」と呼びます。
TRY 3
本物のLLMのパラメータを入れ替える
本物のモデル(Gemma 3 4B)には、つまみが約39億個あります。その値を1つも変えずに、置き場所だけを入れ替えたら、出力はどうなるでしょうか。つまみを回して、入れ替える割合を増やしてみてください。出てくる候補と続きは、すべて実際にモデルを動かして測ったものです。
モデルが書いた続き日本で一番高い山は富士山です。標高は3,776.2
もとのモデルです。「富士」が 94% で1位。正しく続きを書いています。つまみを回して、パラメータを入れ替えてみましょう。
本物のパラメータの一部です(全部で 3,880,099,328 個、ファイルは約 2.49 GB)。どれも、ゼロに近い小さな数です。
- +0.01539
- −0.00377
- +0.00006
- −0.00377
- +0.01156
- −0.00760
- +0.00773
- −0.01143
- −0.00377
- −0.01143
- −0.02293
- +0.01156
- −0.01143
- +0.00389
- +0.00006
- +0.01922
- +0.01922
- +0.01539
- +0.01156
- −0.00377
- +0.00773
- −0.03826
- +0.01539
- −0.03826
入れ替えは、近くにある256個をひとかたまりにして、同じ部品の中の別の場所へ移しています(乱数で1回だけ試した結果です)。同じ割合でも、どこが入れ替わるかで壊れ方は変わります。0.1%で片方の文だけ壊れているのは、そのためです。
CHECK
たしかめクイズ
今日わかったことを、三つの問題でたしかめましょう。
Q1「パラメータ」とは何?
Q2同じ文を2回入力すると、次のトークンの確率は?
Q3パラメータの値を変えずに、置き場所だけを全部入れ替えると?
NEXT #8
LLMの全体像:トークン化からTransformer、生成まで
次回は、入力から出力まで、この巨大な関数の中の全工程を一枚の地図にします。トークン化から、Transformer、生成まで。
「本物のLLMのパラメータを入れ替える」の候補・確率・続きの文と、パラメータの値は、すべて本物の言語モデル(Gemma 3 4B、パラメータ 3,880,099,328 個)で実際に測ったものです。あらかじめ計算した結果を使っているので、サーバーには何も送りません。つまみの計算は、あなたのブラウザがその場で行っています。