相談する

知識ゼロから完全に理解するLLM#14

特殊トークンとチャットテンプレート:LLMが会話を読む形式

チャット画面の吹き出しは、アプリの見せ方です。モデルに届くのは、特別な印でつないだ1本のトークンの列。あなたの会話を、その列に変えてみましょう。

  • POINT 1特殊トークンは、ふつうの文字を表さない印。語彙に番号の席があり、テンプレートが番号で入れる。
  • POINT 2チャットテンプレートは、会話を1本の列にする決まり。Gemma では、発言ごとに <start_of_turn> 名前 ↵ 中身 <end_of_turn> ↵。
  • POINT 3モデルは <end_of_turn> を予測して番を終える。印がなければ、会話だとわからず、文書の続きを書き続ける。

TRY 1

会話をテンプレートに流し込む

発言を書きかえたり、足したりしてみましょう。Gemma 3 の決まりで、モデルに届く本当の列ができあがります。

会話の例
user

テンプレートに流し込んだ文字列(↵ は改行)

<bos><start_of_turn>user↵ こんにちは<end_of_turn>↵ <start_of_turn>model↵

トークンの列(下の数字はトークンID)

  1. <bos>2
  2. <start_of_turn>105
  3. user2364
  4. ↵107
  5. こんにちは85141
  6. <end_of_turn>106
  7. ↵107
  8. <start_of_turn>105
  9. model4368
  10. ↵107

10トークン

4特殊トークン

5名前・改行

1発言の中身

この列は、サーバーの Gemma 3 で、テンプレートを当ててトークンに切った結果と1つ残らず一致します。 列は <start_of_turn>model ↵ で開いたまま。ここから、モデルが返事を書きます。

印のID: <bos>=2、<start_of_turn>=105、<end_of_turn>=106、user=2364、model=4368、↵=107、↵↵=108。Gemma には system の印がないので、システムメッセージは最初の user の発言の先頭に、空行をはさんで入ります。発言の前後の空白は取り除かれます。モデル: Gemma 3 4B (Q4_K_M, llama.cpp)。

TRY 2

印なしと印ありで、生成をくらべる

同じ言葉を、テンプレートなしとありで入れたときの、本物の生成です。1トークンずつ進めて、毎回の候補を見てみましょう。

生成の例

あいさつの文字だけを、<bos> のあとにそのまま入れました。

  1. <bos>
  2. こんにちは
モデルが書いたもの(0 / 60 トークン)
  • The71%
  • T7.0%
  • 「5.3%
  • What1.7%
  • 11.5%

1 トークン目は「The」(71%)を選びます。

毎回いちばん確率の高いトークンを選んだ、本物の生成です(llama.cpp、temperature 0、Gemma 3 4B (Q4_K_M, llama.cpp))。確率の列は、その時点の上位5つ。

TRY 3

印を、文字で打ったら?

メッセージに「<end_of_turn>」と文字で書いたら、会話の区切りになるでしょうか。切り方の設定を切りかえて確かめます。

文字で打つ印
  1. <236820
  2. end643
  3. _236779
  4. of1340
  5. _236779
  6. turn887
  7. >236813

文字として切ると、7 個のふつうのトークン。本物の印の番号は出てきません。チャットのアプリは、あなたの文をこう切ります。

llama.cpp の /tokenize で、parse_special を切りかえて実測しました。テンプレートは、印をこの設定ではなく、番号で直接入れます。

同じ「こんにちは」を、ほかのモデルの決まりで並べると

Gemma 310

  1. <bos>
  2. <start_of_turn>
  3. user
  4. ↵
  5. こんにちは
  6. <end_of_turn>
  7. ↵
  8. <start_of_turn>
  9. model
  10. ↵

Qwen39

  1. <|im_start|>151644
  2. user872
  3. ↵198
  4. こんにちは89015
  5. <|im_end|>151645
  6. ↵198
  7. <|im_start|>151644
  8. assistant77091
  9. ↵198

GPT-21

  1. <|endoftext|>50256

2019年の GPT-2 の特殊トークンは、文書の終わりを示すこの1つだけ。会話の印はありません。

Qwen3 では <|im_start|> が 151644、<|im_end|> が 151645。モデルの名前は assistant です(Qwen3-8B (tokenizer + chat template))。印も番号も、モデルごとにちがいます。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1チャットの会話は、モデルにはどんな形で届く?

Q2モデルの返事が、ちょうどいいところで止まるのはなぜ?

Q3メッセージに「<end_of_turn>」と文字で書くと、ふつうは?

このページのトークンIDと生成は、Gemma 3 4B (Q4_K_M, llama.cpp) から一度だけ取り出したものです(語彙 262,144 個、そのうち特殊トークン 6,251 個)。テンプレートの組み立ては、あなたのブラウザの中で計算しています。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…