相談する

知識ゼロから完全に理解するLLM#19

one-hotベクトルとその限界:埋め込みが必要な理由

言葉に番号(ID)をつけただけでは、番号の差に意味のない「近さ」が入ってしまいます。そこで使うのが one-hot ベクトル。自分で語彙を作って one-hot にし、距離を測ってみましょう。最後に、なぜ埋め込みが必要なのかも見えてきます。

  • POINT 1one-hot ベクトルは、語彙の言葉の数だけ箱を並べて、その言葉の箱だけを1、残りを全部0にしたもの。4語なら「猫」= (1, 0, 0, 0)。ベクトルの長さは語彙の大きさと同じです。
  • POINT 2ちがう言葉どうしは、どの組でも内積0(コサイン類似度0)、距離は √2 ≈ 1.41。全部同じ遠さなので、「猫と犬は近い」ということを表せません。
  • POINT 3Gemma の語彙は 262144 トークンなので、one-hot の長さは 262144(Gemma の言葉のベクトル 2560 の 102.4 倍)。だから、短くて中身の詰まった埋め込みが必要です。

TRY 1

語彙を作って、one-hot にする

下の言葉を押すか、好きな言葉を入力して、語彙に入れてみましょう(8語まで)。言葉を1つ足すたびに箱が1つ増え、どのベクトルも1か所だけが1になります。3D の図は、最初の4語の矢印の先と、その間の距離です。

語彙 4 語 → ベクトルは 4 次元

箱 1箱 2箱 3箱 4
猫1000
犬0100
車0010
電車0001

言葉を足す

4語: 先を結ぶと正四面体(6本の辺が全部 √2)。4次元の先を、3次元に描いています。

TRY 2

2つの言葉の距離を測る

語彙から2つの言葉を選ぶと、one-hot ベクトルの引き算、2乗の合計、距離、内積を計算します。どの組を選んでも同じになることを確かめてください。横には、Gemma 3 の本物のベクトルで測った値も出します。

選ぶのは
引き算(先から先への矢印)(1, 0, 0, 0) − (0, 1, 0, 0) = (1, −1, 0, 0)2乗して足す1 + 1 + 0 + 0 = 2距離 = その平方根√2 ≈ 1.41

one-hot

距離1.41
内積0
コサイン類似度0

Gemma の本物のベクトル

距離1.13
コサイン類似度0.35

one-hot では「猫」と「犬」の距離は √2 ≈ 1.41。Gemma のベクトルでは 1.13 です。

「猫」から、語彙のほかの言葉までの距離

犬1.41
1.13
車1.41
1.31
電車1.41
1.33
one-hotGemma の本物のベクトル√2

Gemma のベクトルの長さはどれもほぼ1なので、関係の薄い言葉どうしは √2 ≈ 1.41 に近くなります。似た言葉ほど、それより近くなります。

TRY 3

本物の語彙の大きさで作ると

語彙の大きさを変えてみましょう。one-hot ベクトルの長さ、0 の数、1つの数を4バイトで持ったときの大きさ、Gemma の言葉のベクトル(2560個の数)との比が変わります。

ベクトルの長さ21
0 の数20
1トークンの大きさ(4バイト × 長さ)84 B≈ 84 B
2560 との比2560 より短い
距離 √2 の組の数210
one-hot: 21
Gemma: 2560

Gemma の「猫」の本物のベクトルでは、2560 個のうち 2499 個が0ではありません。one-hot では、0 でないのはたった1個です。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1語彙が「猫・犬・車・電車」の4語のとき、「車」の one-hot ベクトルは?

Q2one-hot で「猫」と「犬」の距離と、「猫」と「車」の距離をくらべると?

Q3Gemma の語彙(262144 トークン)で one-hot を作ると、1つのベクトルの数の個数は?

TRY 2 の Gemma の値は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです(第18回と同じ測定)。one-hot の値は、その場で計算しています。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…