Kicsi, de
rendesen olvas.
A Lynx RAG-ra készült kis LLM: kizárólag a kapott dokumentum alapján, egy mondatban válaszol a kérdésre. A Qwen3.5 0.8B-s modelljét finomhangoltuk 20 nyelvű, dokumentumkeresésre épülő kérdés-válasz feladatra. GPU nélkül, átlagos CPU-n fut.
- Paraméter
- 0.8B
- Fájl (Q4_K_M)
- 0.67GB
- Nyelvek
- 20nyelv
- Futtató gép
- CPUis elég
NyilvánosA súlyok letölthetők és kipróbálhatók a letöltési hely és a licenc előzetes
146-od akkora,
mégis 93.8 pont.
20 nyelven, 13 061 kérdésből álló teszten vetettük össze a gpt-oss-120b-vel (117 milliárd paraméter). A négy mérce átlaga: Lynx 0.8B 93.8, gpt-oss-120b 97.5. Abban, hogy a választ nem tartalmazó rövid dokumentumnál kimondja-e, hogy „nincs”, 98.0 pontot ért el, nagyjából annyit, mint a 120B.
Válasz rövid dokumentumból3751 kérdés
Keresés hosszú dokumentumban (kb. 2500 token)3697 kérdés
„Nincs válasz” rövid dokumentumnál3650 kérdés
„Nincs válasz” hosszú dokumentumnál1963 kérdés
7448 kérdésből csak 25-ször fordult elő, hogy a válasz szerepelt a szövegben, mégis azt felelte: „nincs válasz” (a gpt-oss-120b-nél 32-szer).
* Saját tesztünkön mért értékek (2026. november, Q4_K_M). Az értékelést a Qwen3-32B végezte (a gpt-oss-120b értékelésétől legfeljebb 0.4 ponttal tér el). A részletes feltételek az oldal végén.
20 nyelven
ugyanúgy.
A prompt és a válasz is az adott nyelven marad. A feladatok is az adott nyelvű Wikipédiából készültek (nem fordítások). Ha lejjebb görget, a csempék megfordulnak, és megjelenik a nyelvenkénti pontszám (kattintásra is megfordulnak).
* A számok a négy mérce átlagát mutatják (pont). Nyelvenként kb. 650 kérdés (csak hindiből kb. 480).
2500 tokenből
egy mondatot keres ki.
16 oda nem tartozó dokumentum közé kevert egyetlen dokumentumból találja meg a választ adó mondatot. Görgetés közben a Lynx halad előre az olvasásban. Ez egy belső dokumentumok mintájára készített másik teszt egyik kérdése, a Lynx valódi válaszával.
KérdésMelyik napon tart zárva a zöldmezői városi uszoda?
A megtalált bizonyíték
A Lynx válasza
* Minden szöveg kitalált (tesztre készült).
Csak CPU-val
kb. 7 mp.
Csevegőablakban játsszuk le, ahogy a modell egy laptop CPU-ján (GPU nélkül) elolvas egy kb. 2500 tokenes dokumentumot, és válaszol. A lejátszás 3-szoros sebességű, az óra a valódi másodperceket mutatja.
Lynxennek a PC-nek a CPU-ján fut
Melyik napon tart zárva a zöldmezői városi uszoda?Csatolva: 16 dokumentum (kb. 2500 token)
0.0mp3× sebességgel
Dokumentum olvasásaVálasz írása
- Beolvasás
- 388 token/mp
- Válasz írása
- 41 token/mp
- Gép
- Core i7-11800H, 8 szál
* Saját mérés (Q4_K_M, llama.cpp). A beolvasás 2048 tokennél, a kiírás 4000 token elolvasása után mért érték. A géptől és a dokumentum hosszától függően változik.
A használathoz
egyetlen prompt kell.
Csak be kell illeszteni a dokumentumot és a kérdést ugyanabba a promptba, amellyel a modellt tanítottuk, és elküldeni. Rendszerprompt nem kell.
A visszakapott válasz
- A gondolkodó módot ki kell kapcsolni (
enable_thinking: false). A modellt gondolkodás nélkül tanítottuk. temperature 0mellett a válasz mindig ugyanaz.- A válasz egyetlen mondat, amely a kérdés szavait követi. Hossza átlagosan 13–26 token.
{"messages": [{"role": "user",
"content": "(a fenti prompt)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Töltse le,
és máris futtathatja.
2
Indítás llama.cpp-vel
A Qwen3.5-öt támogató verzióval (b11829-cel ellenőrizve).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Prompt elküldése
Küldje el a fenti formában az OpenAI-kompatibilis /v1/chat/completions végpontra.
Erre való
- Válasz belső szabályzatokból, kézikönyvekből, GYIK-ből, a forrásbekezdéssel együtt
- Dokumentumkeresés ott, ahonnan az adat nem kerülhet ki
- Vegyesen többnyelvű dokumentumok
Erre más modell való
- Hosszú összefoglalók (a válasz egy mondat)
- Információkinyerés JSON-ba
- Általános tudást igénylő kérdések, amelyekre a dokumentumban nincs válasz
Válasszon dokumentumot,
és próbálja ki.
A szerveren futó Lynx 0.8B-nek előkészített dokumentumokat és kérdéseket küldhet. Válasszon egy dokumentumot és egy kérdést, majd nyomja meg a „Futtatás” gombot. Olyan kérdés is van köztük, amelyre a dokumentumban nincs válasz.
Élő: a valódi modell most válaszol, kizárólag ennek a szervernek a CPU-ján
1Válasszon dokumentumot
2Válasszon kérdést
3A Lynx válasza
Lynx 0.8Ba szerveren fut
Itt jelenik meg a válasz.
A mérés módja
és a konzultáció.
- Feladatok: a 20 nyelv Wikipédiájának bekezdéseiből a Qwen3-32B készített kérdéseket és válaszokat. A gpt-oss-120b átnézte a kérdéseket, a válaszokat és a dokumentumokat, és a nem megfelelőket kiszűrtük: így maradt 13 061 kérdés.
- A négy mérce: a választ tartalmazó bekezdés (80–400 token) / ugyanez a bekezdés más szócikkek közé keverve, hosszú dokumentumként (kb. 1500–3500 token) / a választ nem tartalmazó bekezdés (ugyanannak a szócikknek egy másik bekezdése vagy egy másik szócikk) / hosszú dokumentum, amelyből kivettük a választ tartalmazó bekezdést.
- Modellek: Lynx 0.8B (Q4_K_M, llama.cpp) és gpt-oss-120b (vLLM, reasoning effort medium). A prompt pontosan ugyanaz volt.
- Értékelés: két modell, a Qwen3-32B és a gpt-oss-120b döntötte el, helyes-e a válasz (a két eredmény legfeljebb 0.4 ponttal tér el).
- A „hosszú dokumentum” példája egy másik, belső szabályzatok és közlemények mintájára készített teszt egyik kérdése.
- Időpont: 2026. november. A főoldal többi számához hasonlóan a hivatalos megjelenés előtt felülvizsgáljuk.