one-hotベクトルとその限界:埋め込みが必要な理由
言葉に番号(ID)をつけただけでは、番号の差に意味のない「近さ」が入ってしまいます。そこで使うのが one-hot ベクトル。自分で語彙を作って one-hot にし、距離を測ってみましょう。最後に、なぜ埋め込みが必要なのかも見えてきます。
- POINT 1one-hot ベクトルは、語彙の言葉の数だけ箱を並べて、その言葉の箱だけを1、残りを全部0にしたもの。4語なら「猫」= (1, 0, 0, 0)。ベクトルの長さは語彙の大きさと同じです。
- POINT 2ちがう言葉どうしは、どの組でも内積0(コサイン類似度0)、距離は √2 ≈ 1.41。全部同じ遠さなので、「猫と犬は近い」ということを表せません。
- POINT 3Gemma の語彙は 262144 トークンなので、one-hot の長さは 262144(Gemma の言葉のベクトル 2560 の 102.4 倍)。だから、短くて中身の詰まった埋め込みが必要です。
TRY 1
語彙を作って、one-hot にする
下の言葉を押すか、好きな言葉を入力して、語彙に入れてみましょう(8語まで)。言葉を1つ足すたびに箱が1つ増え、どのベクトルも1か所だけが1になります。3D の図は、最初の4語の矢印の先と、その間の距離です。
語彙 4 語 → ベクトルは 4 次元
| 箱 1 | 箱 2 | 箱 3 | 箱 4 | ||
|---|---|---|---|---|---|
| 猫 | 1 | 0 | 0 | 0 | |
| 犬 | 0 | 1 | 0 | 0 | |
| 車 | 0 | 0 | 1 | 0 | |
| 電車 | 0 | 0 | 0 | 1 |
言葉を足す
4語: 先を結ぶと正四面体(6本の辺が全部 √2)。4次元の先を、3次元に描いています。
TRY 2
2つの言葉の距離を測る
語彙から2つの言葉を選ぶと、one-hot ベクトルの引き算、2乗の合計、距離、内積を計算します。どの組を選んでも同じになることを確かめてください。横には、Gemma 3 の本物のベクトルで測った値も出します。
one-hot
Gemma の本物のベクトル
one-hot では「猫」と「犬」の距離は √2 ≈ 1.41。Gemma のベクトルでは 1.13 です。
「猫」から、語彙のほかの言葉までの距離
Gemma のベクトルの長さはどれもほぼ1なので、関係の薄い言葉どうしは √2 ≈ 1.41 に近くなります。似た言葉ほど、それより近くなります。
TRY 3
本物の語彙の大きさで作ると
語彙の大きさを変えてみましょう。one-hot ベクトルの長さ、0 の数、1つの数を4バイトで持ったときの大きさ、Gemma の言葉のベクトル(2560個の数)との比が変わります。
Gemma の「猫」の本物のベクトルでは、2560 個のうち 2499 個が0ではありません。one-hot では、0 でないのはたった1個です。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1語彙が「猫・犬・車・電車」の4語のとき、「車」の one-hot ベクトルは?
Q2one-hot で「猫」と「犬」の距離と、「猫」と「車」の距離をくらべると?
Q3Gemma の語彙(262144 トークン)で one-hot を作ると、1つのベクトルの数の個数は?
NEXT #20
埋め込み(Embedding)とは?トークン埋め込み表の仕組み
次回は、トークン埋め込み表。トークンごとに 2560 個の数を1行ずつ並べた表から、ID で1行を取り出す仕組みを見ます。
TRY 2 の Gemma の値は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです(第18回と同じ測定)。one-hot の値は、その場で計算しています。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…