个头小，
读得认真。
Lynx 是一款RAG专用的小型LLM，只依据您提供的文档，用一句话回答问题。我们在 Qwen3.5 的 0.8B 基础上，针对20种语言的文档检索问答做了微调。无需GPU，普通的CPU就能运行。
- 参数量
- 0.8B
- 文件（Q4_K_M）
- 0.67GB
- 支持语言
- 20种语言
- 运行设备
- CPU即可
已公开可以下载权重试用 发布平台与许可证为暂定
146分之1，
93.8分。
我们用20种语言、13,061道题的测试，与 gpt-oss-120b（1,170亿参数）做了比较。4项指标的平均分，Lynx 0.8B 为 93.8，gpt-oss-120b 为 97.5。面对没有答案的短文档能否说出“没有”，这一项得分 98.0，与 120B 几乎相同。
从短文档中回答3,751题
从长文档（约2,500个token）中查找3,697题
对没有答案的短文档说“没有”3,650题
对没有答案的长文档说“没有”1,963题
文档里明明有答案，却以“没有答案”拒答的情况，7,448题中只有25题（gpt-oss-120b 为32题）。
※ 自有测试的实测结果（2026年11月，Q4_K_M）。评分使用 Qwen3-32B（与 gpt-oss-120b 评分的差距在0.4分以内）。详细条件见页面末尾。
20种语言，
表现如一。
提示词和回答都直接使用该语言。测试题也是从各语言的 Wikipedia 中出的（不是翻译来的）。滚动到下方，方块会翻转并显示各语言的得分（点击方块也会翻转）。
※ 数字为4项指标的平均分。每种语言约650题（仅印地语约480题）。
从2,500个token里，
找出一句话。
把1篇文档混进16篇无关文档里，从中找出作为答案的那一句话。随着页面滚动，Lynx 会把文档一路读下去。这是另一套仿内部文档编写的测试中的一道题，以及 Lynx 实际返回的回答。
提问青叶市民游泳馆星期几闭馆？
找到的依据
Lynx 的回答
※ 文字内容全部为虚构（为测试而编写）。
只用CPU，
约7秒。
用笔记本电脑的 CPU（无GPU）读完约2,500个token的文档并给出回答，这一过程在聊天界面中重放。重放为3倍速，计时器显示的是实际秒数。
Lynx正在这台电脑的 CPU 上运行
青叶市民游泳馆星期几闭馆？附件：16篇文档（约2,500个token）
0.0秒3倍速重放
读文档写回答
- 读取
- 388 token/秒
- 写回答
- 41 token/秒
- 设备
- Core i7-11800H，8线程
※ 内部测量（Q4_K_M，llama.cpp）。读取速度为2,048个token时的数值，生成速度为读完4,000个token之后的数值。会因设备和文档长度而变化。
用法只有
一条提示词。
只需在与训练时相同的提示词里填入文档和问题，然后发送。不需要系统提示词。
返回的回答
- 关闭思考模式（
enable_thinking: false）。模型是在不思考的设置下训练的。 - 设为
temperature 0，每次都得到相同的回答。 - 回答是沿用问题措辞的一句话，长度平均为13～26个token。
{"messages": [{"role": "user",
"content": "（上面的提示词）"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}下载之后，
马上就能跑。
2
用 llama.cpp 启动
需支持 Qwen3.5 的版本（已在 b11829 上确认）。
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
发送提示词
按上面的格式，发送到兼容 OpenAI 的 /v1/chat/completions。
适合的用法
- 从内部规章、手册、FAQ 中给出答案，并附上出处段落
- 在数据不能出公司的环境里做文档检索
- 多种语言文档混在一起的工作场景
更适合其他模型的事
- 长篇摘要（回答只有一句话）
- 把信息抽取成 JSON
- 询问文档里没有的常识性问题
选一篇文档，
试一试。
您可以把我们准备好的文档和问题，发送给在服务器上运行的 Lynx 0.8B。请选择1篇文档和1个问题，然后点击“运行”。其中也混有文档里找不到答案的问题。
实时：真实的模型正在仅用本服务器的 CPU 进行回答
1选择文档
2选择问题
3Lynx 的回答
Lynx 0.8B正在服务器上运行
回答会显示在这里。
测试方法，
以及咨询。
- 题目：由 Qwen3-32B 根据20种语言各自的 Wikipedia 段落生成问题和答案。再由 gpt-oss-120b 检查问题、答案和文档，剔除不合适的题目后，共 13,061 题。
- 4项指标：有答案的段落（80～400个token）／把该段落混入其他文章而成的长文档（约1,500～3,500个token）／没有答案的段落（同一文章的其他段落，或其他文章）／抽掉答案段落的长文档。
- 模型：Lynx 0.8B（Q4_K_M，llama.cpp）与 gpt-oss-120b（vLLM，reasoning effort medium）。提示词完全相同。
- 评分：由 Qwen3-32B 和 gpt-oss-120b 两个模型判定回答是否正确（两者结果的差距在0.4分以内）。
- “长文档”的例子，是另一套仿内部规章、通知等编写的测试中的一道题。
- 实施时间：2026年11月。与首页的其他数值一样，正式发布前会再次核对。