Malen, a čita
kako treba.
Lynx je mali LLM samo za RAG: na pitanje odgovara jednom rečenicom, oslanjajući se isključivo na dokument koji mu date. Qwen3.5 od 0.8B dodatno smo trenirali za odgovaranje na pitanja iz dokumenata na 20 jezika. Radi na običnom CPU-u, bez GPU-a.
- Parametri
- 0.8B
- Datoteka (Q4_K_M)
- 0.67GB
- Jezici
- 20jezika
- Oprema
- CPUje dovoljan
ObjavljenoPreuzmite težine i isprobajte mjesto objave i licenca su privremeni
146 puta manji,
a 93,8 bodova.
Na testu od 13.061 pitanja na 20 jezika usporedili smo ga s modelom gpt-oss-120b (117 milijardi parametara). Prosjek četiriju mjerila iznosi 93,8 za Lynx 0.8B i 97,5 za gpt-oss-120b. U mjerilu „reći da odgovora nema“ za kratke dokumente Lynx postiže 98,0 – gotovo isto kao 120B.
Odgovor iz kratkog dokumenta3.751 pitanje
Traženje u dugom dokumentu (oko 2.500 tokena)3.697 pitanja
Kratki dokument bez odgovora: reći „nema“3.650 pitanja
Dugi dokument bez odgovora: reći „nema“1.963 pitanja
Samo je u 25 od 7.448 pitanja odbio odgovoriti („odgovora nema“) iako je odgovor pisao u dokumentu (gpt-oss-120b: 32).
* Izmjereno na vlastitom testu (studeni 2026., Q4_K_M). Ocjenjivao je Qwen3-32B (razlika prema ocjenama modela gpt-oss-120b unutar 0,4 boda). Detaljni uvjeti nalaze se na kraju stranice.
Na 20 jezika,
jednako dobro.
I prompt i odgovor ostaju na jeziku dokumenta. Pitanja su sastavljena iz Wikipedije na svakom od tih jezika (nisu prevedena). Kad se pomaknete do dna, pločice se okreću i pokazuju bodove po jeziku (okreću se i na dodir).
* Brojke su prosjek četiriju mjerila (bodovi). Oko 650 pitanja po jeziku (samo za hindski oko 480).
U 2.500 tokena
pronaći jednu rečenicu.
Među 16 nepovezanih dokumenata samo jedan sadrži rečenicu s odgovorom. Dok se pomičete, Lynx čita dokumente. Ovo je jedno pitanje iz drugog testa, sastavljenog po uzoru na interne dokumente, i odgovor koji je Lynx stvarno dao.
PitanjeKoji je dan bazen u Aobanu zatvoren?
Pronađeno uporište
Odgovor modela Lynx
* Svi su tekstovi izmišljeni (napisani za test).
Samo CPU,
oko 7 sekundi.
U chatu prikazujemo kako CPU prijenosnog računala (bez GPU-a) čita dokument od oko 2.500 tokena i odgovara. Prikaz je ubrzan 3 puta, a sat pokazuje stvarne sekunde.
Lynxradi na CPU-u ovog računala
Koji je dan bazen u Aobanu zatvoren?Prilog: 16 dokumenata (oko 2.500 tokena)
0.0subrzano 3×
Čitanje dokumentaPisanje odgovora
- Čitanje
- 388 tokena/s
- Pisanje odgovora
- 41 token/s
- Oprema
- Core i7-11800H, 8 dretvi
* Interno mjerenje (Q4_K_M, llama.cpp). Brzina čitanja izmjerena je na 2.048 tokena, a brzina pisanja nakon 4.000 pročitanih tokena. Ovisi o opremi i duljini dokumenta.
Za korištenje treba
samo jedan prompt.
U isti prompt s kojim je model treniran umetnete dokument i pitanje i pošaljete ga. Sistemski prompt nije potreban.
Odgovor koji dobijete
- Način razmišljanja isključite (
enable_thinking: false). Model je treniran bez razmišljanja. - Uz
temperature 0odgovor je uvijek isti. - Odgovor je jedna rečenica koja slijedi riječi pitanja. U prosjeku ima 13–26 tokena.
{"messages": [{"role": "user",
"content": "(gornji prompt)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Preuzmite
i pokrenite odmah.
2
Pokrenite u llama.cpp
Verzija s podrškom za Qwen3.5 (provjereno na b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Pošaljite prompt
Šaljete ga u gornjem obliku na /v1/chat/completions, kompatibilan s OpenAI-jem.
Za što je dobar
- Odgovori iz internih pravilnika, priručnika i FAQ-a, zajedno s odlomkom iz kojeg potječu
- Pretraživanje dokumenata tamo gdje podaci ne smiju van
- Okruženja u kojima se miješaju dokumenti na više jezika
Za što su bolji drugi modeli
- Dugi sažeci (odgovor je jedna rečenica)
- Izdvajanje podataka u JSON
- Pitanja o općem znanju kojeg nema u dokumentu
Odaberite dokument
i isprobajte.
Modelu Lynx 0.8B koji radi na poslužitelju možete poslati pripremljene dokumente i pitanja. Odaberite jedan dokument i jedno pitanje pa pritisnite „Pokreni“. Među pitanjima ima i onih na koja dokument nema odgovor.
Uživo: stvarni model odgovara upravo sada, samo na CPU-u ovog poslužitelja
1Odaberite dokument
2Odaberite pitanje
3Odgovor modela Lynx
Lynx 0.8Bradi na poslužitelju
Ovdje će se prikazati odgovor.
Kako smo mjerili
i vaš upit.
- Pitanja: iz odlomaka Wikipedije na svakom od 20 jezika Qwen3-32B sastavio je pitanja i odgovore. gpt-oss-120b pregledao je pitanja, odgovore i dokumente; nakon uklanjanja neprikladnih ostalo je 13.061 pitanje.
- Četiri mjerila: odlomak s odgovorom (80–400 tokena) / dugi dokument u kojem je taj odlomak pomiješan s drugim člancima (oko 1.500–3.500 tokena) / odlomak bez odgovora (drugi odlomak istog članka ili drugi članak) / dugi dokument iz kojeg je odlomak s odgovorom izvađen.
- Modeli: Lynx 0.8B (Q4_K_M, llama.cpp) i gpt-oss-120b (vLLM, reasoning effort medium). Prompt je potpuno isti.
- Ocjenjivanje: točnost odgovora prosuđivala su dva modela, Qwen3-32B i gpt-oss-120b (razlika između njihovih rezultata unutar 0,4 boda).
- Primjer „dugog dokumenta“ jedno je pitanje iz drugog testa, sastavljenog po uzoru na interne pravilnike i obavijesti.
- Provedeno: studeni 2026. Kao i ostale brojke na početnoj stranici, i ove ćemo pregledati prije službene objave.