Mały,
a czyta uważnie.
Lynx to mały LLM wyspecjalizowany w RAG: na pytanie odpowiada jednym zdaniem, opierając się wyłącznie na podanym dokumencie. To Qwen3.5 0.8B dostrojony do odpowiadania na pytania o dokumenty w 20 językach. Działa na zwykłym CPU, bez GPU.
- Parametry
- 0.8B
- Plik (Q4_K_M)
- 0.67GB
- Języki
- 20języków
- Sprzęt
- CPUwystarczy
DostępnyPobierz wagi i wypróbuj miejsce publikacji i licencja są wstępne
146 razy mniejszy.
93,8 pkt.
Porównaliśmy Lynx z gpt-oss-120b (117 mld parametrów) w teście obejmującym 20 języków i 13 061 pytań. Średnia z czterech miar to 93,8 dla Lynx 0.8B i 97,5 dla gpt-oss-120b. Gdy krótki dokument nie zawiera odpowiedzi, Lynx potrafi powiedzieć „nie ma” z wynikiem 98,0 – prawie takim samym jak 120B.
Odpowiedź z krótkiego dokumentu3751 pytań
Szukanie w długim dokumencie (ok. 2500 tokenów)3697 pytań
„Nie ma”, gdy krótki dokument nie zawiera odpowiedzi3650 pytań
„Nie ma”, gdy długi dokument nie zawiera odpowiedzi1963 pytania
Odmowa „nie ma odpowiedzi”, mimo że odpowiedź była w tekście, zdarzyła się tylko przy 25 z 7448 pytań (gpt-oss-120b: 32).
* Pomiar we własnym teście (listopad 2026, Q4_K_M). Oceniał Qwen3-32B (różnica względem oceny gpt-oss-120b nie przekracza 0,4 pkt). Szczegółowe warunki na końcu strony.
W 20 językach
tak samo dobrze.
Prompt i odpowiedź zostają w danym języku. Pytania też powstały z Wikipedii w każdym z tych języków (nie są tłumaczone). Przewiń w dół, a kafelki się odwrócą i pokażą wynik dla każdego języka (kafelek odwraca się też po kliknięciu).
* Liczby to średnia z czterech miar (pkt). Około 650 pytań na język (tylko dla hindi ok. 480).
Wśród 2500 tokenów
szuka jednego zdania.
W jednym dokumencie zmieszanym z 16 niezwiązanymi tekstami Lynx znajduje zdanie z odpowiedzią. Gdy przewijasz stronę, Lynx czyta kolejne dokumenty. To jedno z pytań osobnego testu, stylizowanego na dokumenty firmowe, i odpowiedź, którą Lynx rzeczywiście zwrócił.
PytanieW który dzień tygodnia pływalnia miejska w Dębinowie jest nieczynna?
Znaleziona podstawa
Odpowiedź Lynx
* Wszystkie teksty są fikcyjne (napisane na potrzeby testu).
Samo CPU.
Około 7 sekund.
W oknie czatu odtwarzamy cały przebieg na CPU laptopa (bez GPU): od przeczytania dokumentu o długości ok. 2500 tokenów do odpowiedzi. Odtwarzanie jest przyspieszone 3 razy, zegar pokazuje rzeczywiste sekundy.
Lynxdziała na CPU tego komputera
W który dzień tygodnia pływalnia miejska w Dębinowie jest nieczynna?Załącznik: 16 dokumentów (ok. 2500 tokenów)
0.0sodtwarzanie 3×
Czytanie dokumentuPisanie odpowiedzi
- Czytanie
- 388 tokenów/s
- Pisanie
- 41 tokenów/s
- Sprzęt
- Core i7-11800H, 8 wątków
* Pomiar własny (Q4_K_M, llama.cpp). Szybkość czytania zmierzono dla 2048 tokenów, szybkość pisania – po przeczytaniu 4000 tokenów. Wyniki zależą od sprzętu i długości dokumentu.
Do obsługi wystarczy
jeden prompt.
Wystarczy wstawić dokument i pytanie do tego samego promptu, na którym model był uczony, i go wysłać. Prompt systemowy nie jest potrzebny.
Zwrócona odpowiedź
- Tryb myślenia wyłącz (
enable_thinking: false). Model był uczony bez myślenia. - Przy
temperature 0odpowiedź jest zawsze taka sama. - Odpowiedź to jedno zdanie, które powtarza słowa pytania. Ma średnio 13–26 tokenów.
{"messages": [{"role": "user",
"content": "(prompt powyżej)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Pobierz
i uruchom od razu.
2
Uruchom w llama.cpp
Potrzebna wersja z obsługą Qwen3.5 (sprawdzone na b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Wyślij prompt
Wyślij go w powyższej postaci na zgodny z OpenAI endpoint /v1/chat/completions.
Do czego się nadaje
- Odpowiedzi z regulaminów, instrukcji i FAQ, podawane razem z akapitem źródłowym
- Wyszukiwanie w dokumentach tam, gdzie dane nie mogą wyjść na zewnątrz
- Miejsca, w których mieszają się dokumenty w wielu językach
Do czego lepszy będzie inny model
- Długie streszczenia (odpowiedź to jedno zdanie)
- Wyciąganie informacji do JSON
- Pytania o wiedzę ogólną, której nie ma w dokumencie
Wybierz dokument
i sprawdź.
Do Lynx 0.8B działającego na serwerze możesz wysłać przygotowane dokumenty i pytania. Wybierz jeden dokument i jedno pytanie, a potem kliknij „Uruchom”. Są wśród nich także pytania, na które dokument nie zawiera odpowiedzi.
Na żywo: prawdziwy model odpowiada właśnie teraz, wyłącznie na CPU tego serwera
1Wybierz dokument
2Wybierz pytanie
3Odpowiedź Lynx
Lynx 0.8Bdziała na serwerze
Tutaj pojawi się odpowiedź.
Jak mierzyliśmy
i kontakt.
- Pytania: Qwen3-32B ułożył pytania i odpowiedzi na podstawie akapitów Wikipedii w każdym z 20 języków. gpt-oss-120b sprawdził pytania, odpowiedzi i dokumenty; po odrzuceniu nieodpowiednich zostało 13 061 pytań.
- Cztery miary: akapit z odpowiedzią (80–400 tokenów) / długi dokument, w którym ten akapit zmieszano z innymi artykułami (ok. 1500–3500 tokenów) / akapit bez odpowiedzi (inny akapit tego samego artykułu albo inny artykuł) / długi dokument, z którego usunięto akapit z odpowiedzią.
- Modele: Lynx 0.8B (Q4_K_M, llama.cpp) i gpt-oss-120b (vLLM, reasoning effort medium). Prompt był dokładnie ten sam.
- Ocena: poprawność oceniały dwa modele, Qwen3-32B i gpt-oss-120b (ich wyniki różnią się najwyżej o 0,4 pkt).
- Przykład „długiego dokumentu” to jedno z pytań osobnego testu, stylizowanego na regulaminy i komunikaty firmowe.
- Termin: listopad 2026. Podobnie jak pozostałe liczby na stronie głównej, wyniki zweryfikujemy przed oficjalną publikacją.