コンテキストウィンドウとは?LLMが一度に読める長さ
モデルに見えるのは、窓の中のトークンだけ。窓の大きさを変えて、長い文章や会話があふれる様子を見てみましょう。
- POINT 1コンテキストウィンドウは、モデルが一度に読めるトークンの数の上限。入れた列と、モデルが書く返事の両方が入る。
- POINT 2Gemma 3 が扱える上限は131,072トークン。実際の窓の大きさは、モデルを動かすときに決める。長い窓ほど、読むのに時間がかかる。
- POINT 3窓からあふれた古いトークンは、捨てられる。窓の外のことは、モデルには見えない。
TRY 1
窓がいっぱいになると、止まる
モデルに長い物語を頼みました。窓の大きさを変えて、どこで止まるか見てみましょう。窓の大きさは、数字で書きこむこともできます。
頼んだこと:「猫が主人公の、長い物語を書いてください。」
20入れた列
0書いた物語
256窓の大きさ
0 トークン書きました。窓の空きは、あと 236 トークン。
物語は、Gemma 3 4B (Q4_K_M, llama.cpp) がいちばん確率の高いトークンを選び続けて書いた本物です(窓2,048トークン、全部で 1052 トークン)。窓がいっぱいになるまでは何も捨てられないので、どの大きさの窓でも、ここまでは同じ文になります。
TRY 2
書きながら、古いトークンを捨てる
同じ頼みごとを、窓256トークンで、llama.cpp の context shift をオンにして書かせました。窓がいっぱいになるたびに、<bos> だけを残して、いちばん古い半分を捨てて続けます。
133窓の中
127捨てた
1捨てた回数
いま窓の中にある文
窓の外に捨てた文
1 回捨てて、127 トークンが窓の外に出ました。「猫」は窓の中にもうありません。
Gemma 3 4B (Q4_K_M, llama.cpp)、llama-server -c 256 --context-shift で書いた本物の 700 トークンです。どこで捨てたかは、サーバーのログ(n_keep = 1、n_discard = 127)と同じ決まりで計算しています。
TRY 3
猫の名前を、覚えている?
最初に猫の名前を伝えた会話です。窓の大きさを決めると、アプリのように、返事の32トークンを空けて入るまで、古い発言から捨てます。モデルの答えは、その列への本物の答えです。
- user私の猫の名前はマロンです。覚えておいてください。
- modelはい、マロンちゃんですね!覚えてますよ。マロンちゃん、可愛いですね!😊
- userおすすめの本を1冊、一文で教えてください。
- modelはい、おすすめの本を1冊、一文でご紹介します。**「夜は短し歩けよ乙女」**は、個性的なキャラクターたちが繰り広げる、切なくも美しいファンタジー恋愛物語です。
- user日本でいちばん高い山は?一文で答えてください。
- model日本で一番高い山は富士山です。
- user簡単な朝ごはんのアイデアを一文で教えてください。
- modelトーストにバターを塗って、ヨーグルトとフルーツを添えた、手軽で栄養満点の朝ごはんはいかがでしょう?
- user雨の日の過ごし方を一文で教えてください。
- model雨の日は、温かい飲み物を片手に、本を読んだり、映画を観たりして、心安らぐ時間を過ごしましょう。
- user私の猫の名前は何でしたか?
4捨てた発言
154残った列のトークン
32返事の分
古い発言を 4 つ捨てました。猫の名前を伝えた発言は、窓の外です。
答えは Gemma 3 4B (Q4_K_M, llama.cpp) の本物の出力です。会話の全部は 267 トークン。窓256トークンのサーバーにそのまま送ると、こう断られました: request (267 tokens) exceeds the available context size (256 tokens), try increasing it
TRY 4
このシリーズのナレーションは、どこまで入る?
第1回から第14回までのナレーションを、トークンに切って数えました。窓の大きさと言語を選んで、何本ぶん入るか見てみましょう。
1入った回
1,805使ったトークン
24,67614本の合計
入るのは第1回だけ。第2回は、窓からあふれます。
各回の台本を Gemma 3 4B (Q4_K_M, llama.cpp) のトークナイザーで切った数です。131,072(131,072)は、Gemma 3 が扱える上限です。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1コンテキストウィンドウの大きさは、何で数える?
Q2モデルが書く返事は、窓に入る?
Q3長い会話で、最初に伝えたことを答えられなくなったのはなぜ?
NEXT #16
LLMが文字数や計算を間違える理由:トークン化の落とし穴
次回は、トークン化の落とし穴。LLMが、文字の数を数えたり、桁の多い計算をしたりするのを間違える理由です。
このページの物語・答え・トークン数は、Gemma 3 4B (Q4_K_M, llama.cpp) から一度だけ取り出したものです(Gemma 3 の上限 131,072 トークン、このシリーズのサーバーの窓 2,048 トークン、実験用の小さなサーバーの窓 256 トークン)。窓の計算は、あなたのブラウザの中で行っています。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…