小さくて、
ちゃんと読む。
Lynx は、渡した文書だけを根拠に、質問へ一文で答える RAG 専用の小さな LLM です。Qwen3.5 の 0.8B を、20言語の文書検索の質問応答に合わせて追加学習しました。GPU なしの、ふつうの CPU で動きます。
- パラメータ
- 0.8B
- ファイル（Q4_K_M）
- 0.67GB
- 対応言語
- 20言語
- 動かす機材
- CPUだけで可
公開中重みをダウンロードして試せます 公開先・ライセンスは仮
146分の1で、
93.8点。
20言語・13,061問のテストで、gpt-oss-120b（1,170億パラメータ）と比べました。4つの物差しの平均は、Lynx 0.8B が 93.8、gpt-oss-120b が 97.5 です。答えのない短い文書に「ない」と言えるかは 98.0 で、120B とほぼ同じです。
短い文書から答える3,751問
長い文書（約2,500トークン）から探す3,697問
答えのない短い文書に「ない」と言う3,650問
答えのない長い文書に「ない」と言う1,963問
答えが書いてあるのに「答えがない」と断ってしまったのは、7,448問中25問だけでした（gpt-oss-120b は32問）。
※ 自社のテストでの実測（2026年11月、Q4_K_M）。採点は Qwen3-32B（gpt-oss-120b による採点との差は0.4ポイント以内）。くわしい条件はページの最後に。
20の言語で、
同じように。
指示文も答えも、その言語のままで動きます。問題も、それぞれの言語の Wikipedia から作りました（訳していません）。下までスクロールすると、タイルが裏返って言語ごとの点数が出ます（タイルを押しても裏返ります）。
※ 数字は4つの物差しの平均（点）。各言語およそ650問（ヒンディー語だけ約480問）。
2,500トークンの中から、
一文を探す。
16本の関係ない文書に混ぜた1本から、答えの一文を見つけます。スクロールに合わせて、Lynx が文書を読み進めます。社内文書ふうに作った別のテストの1問と、Lynx が実際に返した答えです。
質問青葉野市民プールの休館日は何曜日ですか。
見つけた根拠
Lynx の答え
※ 文章はすべて架空です（テスト用に作ったもの）。
CPUだけで、
約7秒。
ノートPCの CPU（GPUなし）で、約2,500トークンの文書を読んで答えるまでを、チャット画面で再生します。再生は3倍速、時計は実際の秒数です。
LynxこのPCの CPU で動作中
青葉野市民プールの休館日は何曜日ですか。添付：文書16本（約2,500トークン）
0.0秒3倍速で再生
文書を読む答えを書く
- 読み込み
- 388 トークン/秒
- 答えを書く
- 41 トークン/秒
- 機材
- Core i7-11800H・8スレッド
※ 社内での計測（Q4_K_M、llama.cpp）。読み込みは2,048トークン時、書き出しは4,000トークンを読んだ後の値です。機材や文書の長さで変わります。
使い方は、
指示文ひとつ。
学習したときと同じ指示文に、文書と質問を入れて送るだけです。システムプロンプトはいりません。
返ってくる答え
- 思考モードは切る（
enable_thinking: false）。思考なしで学習しています。 temperature 0で、いつも同じ答えになります。- 答えは質問の言葉をなぞった一文。長さは平均13〜26トークンです。
{"messages": [{"role": "user",
"content": "（上の指示文）"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}ダウンロードして、
すぐ動かす。
2
llama.cpp で起動
Qwen3.5 に対応した版（b11829 で確認）。
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
指示文を送る
OpenAI 互換の /v1/chat/completions に、上の形で送ります。
向いている使い方
- 社内規程・マニュアル・FAQ から、出典の段落ごと答えを示す
- データを外に出せない環境での文書検索
- 多言語の文書が混ざる現場
ほかのモデルが向くこと
- 長い要約（答えは一文になります）
- JSON への情報抽出
- 文書にない一般知識を聞く質問
文書を選んで、
試してみる。
サーバーで動いている Lynx 0.8B に、用意した文書と質問を送れます。文書を1つ、質問を1つ選んで「実行」を押してください。文書に答えがない質問も混ぜてあります。
実際のモデルが、このサーバーの CPU だけで、いま答えています
1文書を選ぶ
2質問を選ぶ
3Lynx の答え
Lynx 0.8Bサーバーで動作中
ここに答えが表示されます。
測り方と、
相談。
- 問題: 20言語それぞれの Wikipedia の段落から、Qwen3-32B が質問と答えを作りました。gpt-oss-120b が質問・答え・文書を点検し、不適切なものを除いた 13,061問です。
- 4つの物差し: 答えのある段落（80〜400トークン）／その段落をほかの記事に混ぜた長い文書（約1,500〜3,500トークン）／答えのない段落（同じ記事の別の段落か、別の記事）／答えの段落を抜いた長い文書。
- モデル: Lynx 0.8B（Q4_K_M、llama.cpp）と gpt-oss-120b（vLLM、reasoning effort medium）。指示文はまったく同じです。
- 採点: Qwen3-32B と gpt-oss-120b の2つのモデルに、正しいかを判定させました（2つの結果の差は0.4ポイント以内）。
- 「長い文書」の例は、社内規程・お知らせなどを模して作った別のテストの1問です。
- 実施: 2026年11月。トップページのほかの数値と同じく、正式な公開前に見直します。