相談する

知識ゼロから完全に理解するLLM#10

BPE(バイトペアエンコーディング)入門①:ペアをマージする

言葉のかけら(サブワード)は、誰がどうやって決めているのでしょうか。答えは「数えて、まとめる」という単純な一手です。このページでは、文を文字にばらし、隣同士のペアを数え、自分の手でペアをマージします。

  • POINT 1BPEは文字から出発して、隣り合う二つ(ペア)が何回出てくるかを数える。
  • POINT 2いちばん多いペアを、一つの新しいトークンにまとめる。これがマージ。
  • POINT 3マージ一回で、語彙が一つ増えて、列が短くなる。意味は見ていない。

TRY 1

文字にばらして、ペアを数える

BPEの出発点は文字です。文を一文字ずつにばらし、隣り合った二つ(ペア)を全部取り出して、同じペアが何回出てくるかを数えます。好きな文を入れて、数えてみましょう。

例文:
  1. う
  2. ら
  3. に
  4. わ
  5. に
  6. は
  7. に
  8. わ
  9. に
  10. わ
  11. に
  12. は
  13. に
  14. わ
  15. に
  16. わ
  17. と
  18. り
  19. が
  20. い
  21. る

21トークン(いまは一文字ずつ)

10種類

20ペアの数

21 個のトークンから、ペアが 20 個取り出せます。同じペアが何回あるか、数えてみましょう。

空白で区切られた文では、単語の中だけでペアを作ります(空白をまたぐペアは作りません)。日本語以外では、大文字は小文字にそろえています。同点のペアは、文の中で先に出てきた順に並べています。

TRY 2

自分でペアを選んで、マージする

今度は、あなたがマージするペアを選びます。表の「まとめる」を押すと、そのペアが文の中で全部くっついて、新しいトークンになります。いちばん多いペアを選んだときと、少ないペアを選んだときで、列の短くなり方を比べてください。

例文:
  1. う
  2. ら
  3. に
  4. わ
  5. に
  6. は
  7. に
  8. わ
  9. に
  10. わ
  11. に
  12. は
  13. に
  14. わ
  15. に
  16. わ
  17. と
  18. り
  19. が
  20. い
  21. る

21← 21トークンの数

10← 10語彙(文字 + まとめたトークン)

0マージした回数

表からペアを一つ選んで、「まとめる」を押してください。いちばん上が、いちばん多いペアです。

いまのペアと出現回数(マージのたびに数え直しています)

  1. に+わ5
  2. わ+に4
  3. に+は2
  4. は+に2
  5. う+ら1
  6. ら+に1
  7. わ+と1
  8. と+り1
  9. り+が1
  10. が+い1

マージすると、まわりのペアの数も変わります。消えるペアもあれば、新しいトークンを含むペアが生まれることもあります。だから毎回、最初から数え直します。まとめたトークンは、ルールを逆にたどれば必ず元の文字に戻せます。

TRY 3

多いペアから? 少ないペアから?

同じ文で、二つのやり方を同時に進めます。左は「いつも、いちばん多いペア」をまとめるBPEのやり方。右は「いつも、いちばん少ないペア」をまとめるやり方です。ボタンを押して、一手ずつ比べてください。

いちばん多いペアをまとめる21

  1. う
  2. ら
  3. に
  4. わ
  5. に
  6. は
  7. に
  8. わ
  9. に
  10. わ
  11. に
  12. は
  13. に
  14. わ
  15. に
  16. わ
  17. と
  18. り
  19. が
  20. い
  21. る

いちばん少ないペアをまとめる21

  1. う
  2. ら
  3. に
  4. わ
  5. に
  6. は
  7. に
  8. わ
  9. に
  10. わ
  11. に
  12. は
  13. に
  14. わ
  15. に
  16. わ
  17. と
  18. り
  19. が
  20. い
  21. る

最初は、どちらも 21 個です。一手進めてみましょう。

どちらのやり方も、マージ一回につき語彙は一つ増えます。同じ「語彙の大きさ」で、できるだけ列を短くしたい。だからBPEは、いちばん多いペアを選びます。

TRY 4

本物の語彙と比べる・文字の下のバイト

動画の例文を、この文だけで数えてマージを続けた結果と、本物のモデルの語彙で切った結果を比べます。そのあとで、BPEの名前の「バイト」も見てみましょう。

この文だけで数えて、いちばん多いペアを 1 回マージ: 16 個

  1. う
  2. ら
  3. にわ
  4. に
  5. は
  6. にわ
  7. にわ
  8. に
  9. は
  10. にわ
  11. にわ
  12. と
  13. り
  14. が
  15. い
  16. る

本物のモデル(Gemma 3 4B (Q4_K_M, llama.cpp))の語彙で切ると: 15 個(小さい数字はトークンID)

  1. う237187
  2. らに39273
  3. わ237684
  4. には10215
  5. に237000
  6. わ237684
  7. に237000
  8. わ237684
  9. には10215
  10. に237000
  11. わ237684
  12. に237000
  13. わ237684
  14. とり83620
  15. がいる204187

21 文字の文が、この文だけの 1 回のマージで 16 個に。本物の語彙では 15 個です。

本物のモデルの語彙は 262,144 種類。世の中の文章でよく出てくる並びがまとまっています。マージを何度もくり返して語彙を育てる様子は、次回くわしく見ます。

  1. にE3 81 AB
  2. A41
  3. 🐔F0 9F 90 94

3 文字が、8 バイトでできています。

バイトは 256 種類しかありません(00 から FF)。英字は 1 バイト、ひらがなや漢字は 3 バイト、絵文字は 4 バイトです(UTF-8 という決まり)。BPEはもともとバイトのペアをまとめる圧縮の技術で、GPTのトークナイザーも、文字ではなくバイトから出発します。そうすれば、どんな文字も必ず表せるからです。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1BPEが、次にまとめるペアを選ぶ基準は?

Q2マージを一回すると、どうなる?

Q3マージのあと、ペアを数え直すのはなぜ?

このページのペアの数とマージは、あなたのブラウザがその場で計算しています。本物のトークンとトークンIDは、言語モデル(Gemma 3 4B (Q4_K_M, llama.cpp)、語彙 262,144 行)のトークナイザーからあらかじめ取り出したものです。サーバーには何も送られません。