行列とは?LLMの計算を支える線形変換
行列は、数を縦と横に並べた表です。2 行 2 列なら、数は 4 つだけ。その 4 つの数が、平面を丸ごと動かします。自分で数を動かして、猫の絵がどう変わるかを見てください。LLM の中身は、ほとんどがこの行列です。
- POINT 1行列にベクトルを掛けると、行の数だけ内積を取って、新しいベクトルを返します。2 行 2 列なら、内積 2 回です。
- POINT 2平面のすべての点に同じ行列を掛けると、絵が丸ごと動きます。左の列は「右へ 1 歩」の行き先、右の列は「上へ 1 歩」の行き先。回す・伸ばす・ずらす・裏返す。面積が 0 倍になると、つぶれて、元に戻せません。
- POINT 3Gemma 3 4B のファイルには、行列が 239 枚。モデルの数(約 38.8 億個)の 99.99% が、行列の中にあります。ルールは 2 行 2 列と同じで、大きさが違うだけです。
TRY 1
行列の 4 つの数を動かす
4 つのつまみを動かすと、ビーズで描いた猫の絵が、その行列で変形します。赤い点は「右へ 1 歩 (1, 0)」、青い点は「上へ 1 歩 (0, 1)」の行き先です。
赤い点(右へ 1 歩)の行き先は (2, 0)。行列の左の列です。青い点(上へ 1 歩)の行き先は (0, 1)。行列の右の列です。
面積の倍率(行列式)= 2 × 1 − 0 × 0 = 2。 絵は、つぶれていません。
元に戻す行列: 0.5001
つまみは −2 から 2 まで、0.1 きざみです。どの行列でも、まっすぐな線はまっすぐなまま、真ん中の点は動きません(線形変換)。絵を曲げる行列は、作れません。
TRY 2
行列 × ベクトルを、手で計算する
TRY 1 の行列に、点を 1 つ掛けます。上の行と点の内積が、新しい横の位置。下の行と点の内積が、新しい縦の位置です。
いまの行列(TRY 1 で変えられます): 2001
点 (1, 1.5) は、(2, 1.5) に動きます。
点線の丸が元の点、黄色の丸が行き先です。絵の上のどの点も、同じ計算で動いています。
TRY 3
同じ行列を、くり返し掛ける
行列は、何度でも続けて掛けられます。「もう 1 回掛ける」を押すたびに、猫のスタンプが 1 つ増えます。何回掛けても、まとめると 1 つの行列です。
3 回掛けました。 0.87−0.50.50.87 → まとめた行列: 0−110
「30° 回す」は 12 回でひと回り。「縮めて回す」は渦を巻いて真ん中へ。「1.1 倍に広げる」は、少しずつでも、くり返すとどんどん大きくなります。24 回まで押せます。
TRY 4
順番を入れ替える
ちがう行列を 2 つ続けて掛けます。順番を入れ替えると、結果は同じでしょうか。
横に 2 倍 → 90° 回す
0−12090° 回す → 横に 2 倍
0−210順番で、結果がちがいます。まとめた行列の 4 つの数もちがいます。
それぞれの絵の上に出ているのが、2 つをまとめた 1 つの行列です。変形をいくつ重ねても、結果はまた 4 つの数です。
TRY 5
Gemma の中の、本物の行列を見る
Gemma 3 4B のファイルを開けて、中の行列を全部数えました。形を押すと、その形の行列が何枚あって、数をいくつ受け取って、いくつ返すかが出ます。
行列は 239 枚(ほかに、数を 1 列に並べただけのものが 205 本)。モデルの数は全部で 3,880,099,328 個。その 99.99% が、行列の中にあります。
10,240 行 × 2,560 列の行列が 68 枚。1 枚に 26,214,400 個の数。2,560 個の数を受け取って、10,240 個の数を返します。 出てくる数のほうが多い行列です。
1 枚取り出しました。ファイルの中の名前は blk.0.attn_q.weight。2,048 行 × 2,560 列で、数は 5,242,880 個。左上の 6 行 × 6 列です。
| 0.015 | −0.004 | 0.000 | −0.004 | 0.012 | −0.008 | … |
| −0.024 | −0.015 | −0.015 | 0.003 | −0.024 | −0.001 | … |
| 0.014 | 0.008 | −0.033 | −0.012 | −0.012 | 0.029 | … |
| 0.018 | 0.014 | 0.002 | 0.018 | 0.030 | 0.026 | … |
| 0.015 | 0.010 | −0.010 | −0.026 | −0.021 | 0.015 | … |
| 0.003 | 0.015 | 0.015 | −0.018 | 0.020 | −0.001 | … |
| ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ |
この行列に、「猫」の行(2,560 個の数)を掛けると、2,048 個の数が出てきます。掛け算は 5,242,880 回。1 つめの数は、1 行目との内積です: 0.015 × −0.013 + −0.004 × 0.010 + … = −0.004。
「猫」の行
−0.013
0.010
0.013
0.007
−0.007
0.005
⋮
出力
−0.004
0.007
−0.015
0.010
0.007
0.001
⋮
ずらした入力
−0.014
0.047
−0.008
0.056
−0.015
0.038
⋮
その出力
−0.004
0.007
−0.015
0.010
0.007
0.001
⋮
「猫」の数を、ある向きに 0.99 だけずらしました(もとの行の長さは 0.99)。それでも、出てくる 2,048 個の数は同じです。2 つの出力の差は、最大でも 0.0000000000000002。ちがう入力が、同じ出力になる。戻せない変形です。
数は、ファイル(4 ビットほどに圧縮されている)の値を元に戻したものです。モデルの中では、行列に掛ける前に、大きさをそろえる処理が入ります。ここでは、行をそのまま掛けています。それぞれの行列の役割は、先の回で説明します。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1行列「2, 1 / 1, 3」に、ベクトル (3, 2) を掛けると?
Q2行列「1, 0 / 0, 0」で絵をつぶしました。元に戻す行列は?
Q3Gemma 3 4B の数(約 38.8 億個)のうち、行列の中にあるのは?
NEXT #24
高次元ベクトル空間:LLMの埋め込みが何百次元もある理由
次回は、高次元ベクトル空間。LLM の埋め込みには、なぜ何百、何千もの次元があるのか。その理由を見ます。
行列の数・形・中の数は、Gemma 3 4B (Q4_K_M) のファイル(gemma-3-4b-it-Q4_K_M.gguf)を llama.cpp の gguf-py で読み出したものです。2 行 2 列の変形は、ブラウザの中で計算しています。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…