Маленькая,
а читает всерьёз.
Lynx — компактная LLM для RAG: на вопрос она отвечает одним предложением, опираясь только на переданный документ. Мы дообучили Qwen3.5 0.8B отвечать на вопросы по документам на 20 языках. Работает на обычном CPU, без GPU.
- Параметры
- 0.8B
- Файл (Q4_K_M)
- 0.67GB
- Языки
- 20 языков
- Оборудование
- CPU и больше ничего
Доступна Скачайте веса и попробуйте площадка и лицензия — предварительно
В 146 раз меньше —
и 93,8 балла.
Мы сравнили Lynx с gpt-oss-120b (117 млрд параметров) на тесте из 13 061 вопроса на 20 языках. Средний балл по четырём меркам: 93,8 у Lynx 0.8B и 97,5 у gpt-oss-120b. Умение сказать «ответа нет», когда в коротком документе его действительно нет, — 98,0, почти как у 120B.
Ответ по короткому документу 3 751 вопрос
Поиск в длинном документе (около 2 500 токенов) 3 697 вопросов
Сказать «ответа нет» по короткому документу без ответа 3 650 вопросов
Сказать «ответа нет» по длинному документу без ответа 1 963 вопроса
Ответ в документе был, но модель сказала «ответа нет» — так вышло лишь с 25 вопросами из 7 448 (у gpt-oss-120b — с 32).
* Замеры на нашем собственном тесте (ноябрь 2026 г., Q4_K_M). Оценивала Qwen3-32B (расхождение с оценкой gpt-oss-120b — не больше 0,4 пункта). Подробные условия — в конце страницы.
На 20 языках —
одинаково.
И промпт, и ответ остаются на языке документа. Вопросы тоже составлены по «Википедии» на каждом языке, а не переведены. Прокрутите ниже — плитки перевернутся и покажут балл по каждому языку (плитку можно перевернуть и нажатием).
* Цифры — средний балл по четырём меркам. Около 650 вопросов на язык (только на хинди — около 480).
Найти одно предложение
среди 2 500 токенов.
Один документ спрятан среди 16 посторонних, и в нём нужно найти предложение с ответом. По мере прокрутки Lynx читает документы дальше. Это вопрос из другого теста, составленного в духе внутренних документов, и настоящий ответ Lynx.
ВопросВ какой день недели закрыт городской бассейн Лукоморска?
Найденное обоснование
Ответ Lynx
* Все тексты вымышлены (написаны для теста).
Только CPU —
около 7 секунд.
В окне чата показываем, как CPU ноутбука (без GPU) читает документ примерно на 2 500 токенов и отвечает. Запись ускорена в 3 раза, секундомер показывает настоящее время.
Lynx работает на CPU этого ПК
В какой день недели закрыт городской бассейн Лукоморска? Вложение: 16 документов (около 2 500 токенов)
0.0сускорено в 3 раза
Чтение документаЗапись ответа
- Чтение
- 388 токенов/с
- Запись ответа
- 41 токен/с
- Оборудование
- Core i7-11800H, 8 потоков
* Внутренние замеры (Q4_K_M, llama.cpp). Скорость чтения — при 2 048 токенах, скорость записи — после чтения 4 000 токенов. Зависит от оборудования и длины документа.
Всё, что нужно, —
один промпт.
Вставьте документ и вопрос в тот же промпт, на котором модель обучалась, и отправьте. Системный промпт не нужен.
Ответ модели
- Режим размышлений выключен (
enable_thinking: false): модель обучалась без него. - При
temperature 0ответ всегда один и тот же. - Ответ — одно предложение, повторяющее слова вопроса. Средняя длина — 13–26 токенов.
{"messages": [{"role": "user",
"content": "(промпт выше)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Скачайте —
и сразу запускайте.
2
Запустите в llama.cpp
Нужна версия с поддержкой Qwen3.5 (проверено на b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Отправьте промпт
Отправьте запрос в таком виде на совместимый с OpenAI адрес /v1/chat/completions.
Для чего подходит
- Ответы по внутренним регламентам, инструкциям и FAQ — вместе с абзацем-источником
- Поиск по документам там, где данные нельзя выносить наружу
- Работа с документами на разных языках
Что лучше поручить другим моделям
- Длинные пересказы (ответ — всегда одно предложение)
- Извлечение данных в JSON
- Вопросы на общие знания, которых нет в документе
Выберите документ
и попробуйте.
Готовые документы и вопросы можно отправить модели Lynx 0.8B, которая работает на сервере. Выберите один документ и один вопрос и нажмите «Запустить». Среди вопросов есть и такие, на которые в документе нет ответа.
Вживую: настоящая модель отвечает прямо сейчас, только на CPU этого сервера
1 Выберите документ
2 Выберите вопрос
3 Ответ Lynx
Lynx 0.8B работает на сервере
Здесь появится ответ.
Как измеряли
и как связаться.
- Вопросы: Qwen3-32B составила вопросы и ответы по абзацам «Википедии» на каждом из 20 языков. gpt-oss-120b проверила вопросы, ответы и документы и убрала неподходящие; осталось 13 061 вопрос.
- Четыре мерки: абзац с ответом (80–400 токенов) / длинный документ, где этот абзац смешан с другими статьями (около 1 500–3 500 токенов) / абзац без ответа (другой абзац той же статьи или другая статья) / длинный документ, из которого абзац с ответом убран.
- Модели: Lynx 0.8B (Q4_K_M, llama.cpp) и gpt-oss-120b (vLLM, reasoning effort medium). Промпт абсолютно одинаковый.
- Оценка: правильность ответов проверяли две модели — Qwen3-32B и gpt-oss-120b (их результаты расходятся не больше чем на 0,4 пункта).
- Пример с «длинным документом» — вопрос из другого теста, составленного в духе внутренних регламентов и объявлений.
- Дата: ноябрь 2026 г. Как и остальные цифры на главной странице, эти данные мы пересмотрим перед официальным выпуском.