Malý,
a čte pořádně.
Lynx je malý LLM určený pro RAG: na dotaz odpoví jednou větou, a to jen na základě dokumentů, které mu předáte. Je to model Qwen3.5 0.8B doladěný na odpovídání na dotazy nad dokumenty ve 20 jazycích. Běží na běžném CPU, bez GPU.
- Parametry
- 0.8B
- Soubor (Q4_K_M)
- 0.67GB
- Jazyky
- 20jazyků
- Hardware
- CPUúplně stačí
ZveřejněnoVáhy si můžete stáhnout a vyzkoušet úložiště a licence jsou předběžné
146× menší,
93,8 bodu.
V testu s 13 061 otázkami ve 20 jazycích jsme Lynx porovnali s gpt-oss-120b (117 miliard parametrů). Průměr čtyř měřítek je 93,8 u Lynx 0.8B a 97,5 u gpt-oss-120b. V tom, zda u krátkého dokumentu bez odpovědi řekne „není tam“, má 98,0 – téměř stejně jako 120B.
Odpověď z krátkého dokumentu3 751 otázek
Hledání v dlouhém dokumentu (asi 2 500 tokenů)3 697 otázek
Říct „není tam“ u krátkého dokumentu bez odpovědi3 650 otázek
Říct „není tam“ u dlouhého dokumentu bez odpovědi1 963 otázek
Odpověď v textu byla, a model přesto odmítl s tím, že tam není, jen u 25 ze 7 448 otázek (gpt-oss-120b u 32).
* Naměřeno ve vlastním testu (listopad 2026, Q4_K_M). Hodnotil Qwen3-32B (od hodnocení modelem gpt-oss-120b se liší nejvýše o 0,4 bodu). Podrobné podmínky najdete na konci stránky.
Ve 20 jazycích
stejně dobře.
Zadání i odpověď zůstávají v daném jazyce. Také otázky vznikly z Wikipedie v každém z jazyků (nejsou to překlady). Až sjedete níž, dlaždice se otočí a ukážou skóre pro jednotlivé jazyky (otočí se i po kliknutí).
* Čísla jsou průměr čtyř měřítek (v bodech). Na každý jazyk připadá asi 650 otázek (jen u hindštiny asi 480).
Ve 2 500 tokenech
najde jednu větu.
Mezi 16 nesouvisejícími dokumenty je jeden, ve kterém Lynx najde větu s odpovědí. Jak posouváte stránku, Lynx čte dokumenty dál. Je to jedna otázka z jiného testu, sestaveného ve stylu firemních dokumentů, a odpověď, kterou Lynx skutečně vrátil.
DotazKterý den v týdnu má městský bazén v Javorově zavřeno?
Nalezený podklad
Odpověď modelu Lynx
* Všechny texty jsou smyšlené (vytvořené pro test).
Jen na CPU,
asi za 7 sekund.
V okně chatu přehrajeme, jak model na CPU notebooku (bez GPU) přečte dokument o zhruba 2 500 tokenech a odpoví. Přehrávání je 3× zrychlené, stopky ukazují skutečné sekundy.
Lynxběží na CPU tohoto počítače
Který den v týdnu má městský bazén v Javorově zavřeno?Příloha: 16 dokumentů (asi 2 500 tokenů)
0.0spřehráváno 3× rychleji
Čtení dokumentůPsaní odpovědi
- Čtení
- 388 tokenů/s
- Psaní odpovědi
- 41 tokenů/s
- Hardware
- Core i7-11800H, 8 vláken
* Interní měření (Q4_K_M, llama.cpp). Rychlost čtení platí pro 2 048 tokenů, rychlost psaní po přečtení 4 000 tokenů. Liší se podle hardwaru a délky dokumentu.
K použití stačí
jediné zadání.
Do stejného zadání, na jakém se model učil, vložíte dokument a dotaz a odešlete. Systémový prompt není potřeba.
Odpověď, která se vrátí
- Režim přemýšlení vypněte (
enable_thinking: false). Model se učil bez něj. - S
temperature 0dostanete pokaždé stejnou odpověď. - Odpovědí je jedna věta, která se drží slov dotazu. Má v průměru 13–26 tokenů.
{"messages": [{"role": "user",
"content": "(zadání uvedené výše)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Stáhnout
a hned spustit.
2
Spusťte v llama.cpp
Verze s podporou Qwen3.5 (ověřeno na b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Odešlete zadání
Pošlete ho ve tvaru uvedeném výše na /v1/chat/completions kompatibilní s OpenAI.
Na co se hodí
- Odpovědi z interních směrnic, manuálů a FAQ i s odstavcem, ze kterého vycházejí
- Hledání v dokumentech tam, kde data nesmějí ven
- Provozy, kde se mísí dokumenty v různých jazycích
Na co se hodí jiné modely
- Dlouhá shrnutí (odpovědí je jedna věta)
- Extrakce informací do JSON
- Dotazy na obecné znalosti, které v dokumentu nejsou
Vyberte dokument
a vyzkoušejte to.
Modelu Lynx 0.8B, který běží na serveru, můžete poslat připravené dokumenty a dotazy. Vyberte jeden dokument a jeden dotaz a stiskněte „Spustit“. Mezi dotazy jsou i takové, na které dokument odpověď neobsahuje.
Živě: skutečný model odpovídá právě teď, pouze na CPU tohoto serveru
1Vyberte dokument
2Vyberte dotaz
3Odpověď modelu Lynx
Lynx 0.8Bběží na serveru
Tady se zobrazí odpověď.
Jak měříme
a konzultace.
- Otázky: z odstavců Wikipedie v každém z 20 jazyků vytvořil Qwen3-32B otázky a odpovědi. Model gpt-oss-120b pak otázky, odpovědi i dokumenty zkontroloval a nevhodné vyřadil; zbylo 13 061 otázek.
- Čtyři měřítka: odstavec s odpovědí (80–400 tokenů) / dlouhý dokument, kde je tento odstavec zamíchaný mezi jiné články (asi 1 500–3 500 tokenů) / odstavec bez odpovědi (jiný odstavec téhož článku, nebo jiný článek) / dlouhý dokument, ze kterého byl odstavec s odpovědí vyjmut.
- Modely: Lynx 0.8B (Q4_K_M, llama.cpp) a gpt-oss-120b (vLLM, reasoning effort medium). Zadání je naprosto stejné.
- Hodnocení: správnost posuzovaly dva modely, Qwen3-32B a gpt-oss-120b (jejich výsledky se liší nejvýše o 0,4 bodu).
- Příklad „dlouhého dokumentu“ je jedna otázka z jiného testu, který napodobuje interní směrnice, oznámení a podobně.
- Provedeno: listopad 2026. Stejně jako ostatní čísla na úvodní stránce je před oficiálním zveřejněním ještě projdeme.