BPE(バイトペアエンコーディング)入門①:ペアをマージする
言葉のかけら(サブワード)は、誰がどうやって決めているのでしょうか。答えは「数えて、まとめる」という単純な一手です。このページでは、文を文字にばらし、隣同士のペアを数え、自分の手でペアをマージします。
- POINT 1BPEは文字から出発して、隣り合う二つ(ペア)が何回出てくるかを数える。
- POINT 2いちばん多いペアを、一つの新しいトークンにまとめる。これがマージ。
- POINT 3マージ一回で、語彙が一つ増えて、列が短くなる。意味は見ていない。
TRY 1
文字にばらして、ペアを数える
BPEの出発点は文字です。文を一文字ずつにばらし、隣り合った二つ(ペア)を全部取り出して、同じペアが何回出てくるかを数えます。好きな文を入れて、数えてみましょう。
- う
- ら
- に
- わ
- に
- は
- に
- わ
- に
- わ
- に
- は
- に
- わ
- に
- わ
- と
- り
- が
- い
- る
21トークン(いまは一文字ずつ)
10種類
20ペアの数
21 個のトークンから、ペアが 20 個取り出せます。同じペアが何回あるか、数えてみましょう。
空白で区切られた文では、単語の中だけでペアを作ります(空白をまたぐペアは作りません)。日本語以外では、大文字は小文字にそろえています。同点のペアは、文の中で先に出てきた順に並べています。
TRY 2
自分でペアを選んで、マージする
今度は、あなたがマージするペアを選びます。表の「まとめる」を押すと、そのペアが文の中で全部くっついて、新しいトークンになります。いちばん多いペアを選んだときと、少ないペアを選んだときで、列の短くなり方を比べてください。
- う
- ら
- に
- わ
- に
- は
- に
- わ
- に
- わ
- に
- は
- に
- わ
- に
- わ
- と
- り
- が
- い
- る
21← 21トークンの数
10← 10語彙(文字 + まとめたトークン)
0マージした回数
表からペアを一つ選んで、「まとめる」を押してください。いちばん上が、いちばん多いペアです。
いまのペアと出現回数(マージのたびに数え直しています)
- に+わ5
- わ+に4
- に+は2
- は+に2
- う+ら1
- ら+に1
- わ+と1
- と+り1
- り+が1
- が+い1
マージすると、まわりのペアの数も変わります。消えるペアもあれば、新しいトークンを含むペアが生まれることもあります。だから毎回、最初から数え直します。まとめたトークンは、ルールを逆にたどれば必ず元の文字に戻せます。
TRY 3
多いペアから? 少ないペアから?
同じ文で、二つのやり方を同時に進めます。左は「いつも、いちばん多いペア」をまとめるBPEのやり方。右は「いつも、いちばん少ないペア」をまとめるやり方です。ボタンを押して、一手ずつ比べてください。
いちばん多いペアをまとめる21
- う
- ら
- に
- わ
- に
- は
- に
- わ
- に
- わ
- に
- は
- に
- わ
- に
- わ
- と
- り
- が
- い
- る
いちばん少ないペアをまとめる21
- う
- ら
- に
- わ
- に
- は
- に
- わ
- に
- わ
- に
- は
- に
- わ
- に
- わ
- と
- り
- が
- い
- る
最初は、どちらも 21 個です。一手進めてみましょう。
どちらのやり方も、マージ一回につき語彙は一つ増えます。同じ「語彙の大きさ」で、できるだけ列を短くしたい。だからBPEは、いちばん多いペアを選びます。
TRY 4
本物の語彙と比べる・文字の下のバイト
動画の例文を、この文だけで数えてマージを続けた結果と、本物のモデルの語彙で切った結果を比べます。そのあとで、BPEの名前の「バイト」も見てみましょう。
この文だけで数えて、いちばん多いペアを 1 回マージ: 16 個
- う
- ら
- にわ
- に
- は
- にわ
- にわ
- に
- は
- にわ
- にわ
- と
- り
- が
- い
- る
本物のモデル(Gemma 3 4B (Q4_K_M, llama.cpp))の語彙で切ると: 15 個(小さい数字はトークンID)
- う237187
- らに39273
- わ237684
- には10215
- に237000
- わ237684
- に237000
- わ237684
- には10215
- に237000
- わ237684
- に237000
- わ237684
- とり83620
- がいる204187
21 文字の文が、この文だけの 1 回のマージで 16 個に。本物の語彙では 15 個です。
本物のモデルの語彙は 262,144 種類。世の中の文章でよく出てくる並びがまとまっています。マージを何度もくり返して語彙を育てる様子は、次回くわしく見ます。
- にE3 81 AB
- A41
- 🐔F0 9F 90 94
3 文字が、8 バイトでできています。
バイトは 256 種類しかありません(00 から FF)。英字は 1 バイト、ひらがなや漢字は 3 バイト、絵文字は 4 バイトです(UTF-8 という決まり)。BPEはもともとバイトのペアをまとめる圧縮の技術で、GPTのトークナイザーも、文字ではなくバイトから出発します。そうすれば、どんな文字も必ず表せるからです。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1BPEが、次にまとめるペアを選ぶ基準は?
Q2マージを一回すると、どうなる?
Q3マージのあと、ペアを数え直すのはなぜ?
NEXT #11
BPE入門②:トークナイザーの語彙を学習する
次回は、このマージを何度もくり返します。文字だけだった語彙がだんだん育って、トークナイザーの語彙になるまでを見ます。
このページのペアの数とマージは、あなたのブラウザがその場で計算しています。本物のトークンとトークンIDは、言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp)、語彙 262,144 行)のトークナイザーからあらかじめ取り出したものです。サーバーには何も送られません。