相談する

知識ゼロから完全に理解するLLM#23

行列とは?LLMの計算を支える線形変換

行列は、数を縦と横に並べた表です。2 行 2 列なら、数は 4 つだけ。その 4 つの数が、平面を丸ごと動かします。自分で数を動かして、猫の絵がどう変わるかを見てください。LLM の中身は、ほとんどがこの行列です。

  • POINT 1行列にベクトルを掛けると、行の数だけ内積を取って、新しいベクトルを返します。2 行 2 列なら、内積 2 回です。
  • POINT 2平面のすべての点に同じ行列を掛けると、絵が丸ごと動きます。左の列は「右へ 1 歩」の行き先、右の列は「上へ 1 歩」の行き先。回す・伸ばす・ずらす・裏返す。面積が 0 倍になると、つぶれて、元に戻せません。
  • POINT 3Gemma 3 4B のファイルには、行列が 239 枚。モデルの数(約 38.8 億個)の 99.99% が、行列の中にあります。ルールは 2 行 2 列と同じで、大きさが違うだけです。

TRY 1

行列の 4 つの数を動かす

4 つのつまみを動かすと、ビーズで描いた猫の絵が、その行列で変形します。赤い点は「右へ 1 歩 (1, 0)」、青い点は「上へ 1 歩 (0, 1)」の行き先です。

名前のついた行列

赤い点(右へ 1 歩)の行き先は (2, 0)。行列の左の列です。青い点(上へ 1 歩)の行き先は (0, 1)。行列の右の列です。

面積の倍率(行列式)= 2 × 1 − 0 × 0 = 2。 絵は、つぶれていません。

元に戻す行列: 0.5001

つまみは −2 から 2 まで、0.1 きざみです。どの行列でも、まっすぐな線はまっすぐなまま、真ん中の点は動きません(線形変換)。絵を曲げる行列は、作れません。

TRY 2

行列 × ベクトルを、手で計算する

TRY 1 の行列に、点を 1 つ掛けます。上の行と点の内積が、新しい横の位置。下の行と点の内積が、新しい縦の位置です。

いまの行列(TRY 1 で変えられます): 2001

上の行2 × 1 + 0 × 1.5 = 2
下の行0 × 1 + 1 × 1.5 = 1.5

点 (1, 1.5) は、(2, 1.5) に動きます。

点線の丸が元の点、黄色の丸が行き先です。絵の上のどの点も、同じ計算で動いています。

TRY 3

同じ行列を、くり返し掛ける

行列は、何度でも続けて掛けられます。「もう 1 回掛ける」を押すたびに、猫のスタンプが 1 つ増えます。何回掛けても、まとめると 1 つの行列です。

くり返す行列

3 回掛けました。 0.87−0.50.50.87 → まとめた行列: 0−110

「30° 回す」は 12 回でひと回り。「縮めて回す」は渦を巻いて真ん中へ。「1.1 倍に広げる」は、少しずつでも、くり返すとどんどん大きくなります。24 回まで押せます。

TRY 4

順番を入れ替える

ちがう行列を 2 つ続けて掛けます。順番を入れ替えると、結果は同じでしょうか。

1 つめの行列
2 つめの行列

横に 2 倍 → 90° 回す

0−120

90° 回す → 横に 2 倍

0−210

順番で、結果がちがいます。まとめた行列の 4 つの数もちがいます。

それぞれの絵の上に出ているのが、2 つをまとめた 1 つの行列です。変形をいくつ重ねても、結果はまた 4 つの数です。

TRY 5

Gemma の中の、本物の行列を見る

Gemma 3 4B のファイルを開けて、中の行列を全部数えました。形を押すと、その形の行列が何枚あって、数をいくつ受け取って、いくつ返すかが出ます。

行列は 239 枚(ほかに、数を 1 列に並べただけのものが 205 本)。モデルの数は全部で 3,880,099,328 個。その 99.99% が、行列の中にあります。

10,240 行 × 2,560 列の行列が 68 枚。1 枚に 26,214,400 個の数。2,560 個の数を受け取って、10,240 個の数を返します。 出てくる数のほうが多い行列です。

1 枚取り出しました。ファイルの中の名前は blk.0.attn_q.weight。2,048 行 × 2,560 列で、数は 5,242,880 個。左上の 6 行 × 6 列です。

0.015−0.0040.000−0.0040.012−0.008…
−0.024−0.015−0.0150.003−0.024−0.001…
0.0140.008−0.033−0.012−0.0120.029…
0.0180.0140.0020.0180.0300.026…
0.0150.010−0.010−0.026−0.0210.015…
0.0030.0150.015−0.0180.020−0.001…
⋮⋮⋮⋮⋮⋮

この行列に、「猫」の行(2,560 個の数)を掛けると、2,048 個の数が出てきます。掛け算は 5,242,880 回。1 つめの数は、1 行目との内積です: 0.015 × −0.013 + −0.004 × 0.010 + … = −0.004。

「猫」の行

−0.013

0.010

0.013

0.007

−0.007

0.005

⋮

出力

−0.004

0.007

−0.015

0.010

0.007

0.001

⋮

ずらした入力

−0.014

0.047

−0.008

0.056

−0.015

0.038

⋮

その出力

−0.004

0.007

−0.015

0.010

0.007

0.001

⋮

「猫」の数を、ある向きに 0.99 だけずらしました(もとの行の長さは 0.99)。それでも、出てくる 2,048 個の数は同じです。2 つの出力の差は、最大でも 0.0000000000000002。ちがう入力が、同じ出力になる。戻せない変形です。

数は、ファイル(4 ビットほどに圧縮されている)の値を元に戻したものです。モデルの中では、行列に掛ける前に、大きさをそろえる処理が入ります。ここでは、行をそのまま掛けています。それぞれの行列の役割は、先の回で説明します。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1行列「2, 1 / 1, 3」に、ベクトル (3, 2) を掛けると?

Q2行列「1, 0 / 0, 0」で絵をつぶしました。元に戻す行列は?

Q3Gemma 3 4B の数(約 38.8 億個)のうち、行列の中にあるのは?

行列の数・形・中の数は、Gemma 3 4B (Q4_K_M) のファイル(gemma-3-4b-it-Q4_K_M.gguf)を llama.cpp の gguf-py で読み出したものです。2 行 2 列の変形は、ブラウザの中で計算しています。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…