Klein, maar leest
echt goed.
Lynx is een klein LLM speciaal voor RAG: het beantwoordt een vraag in één zin, uitsluitend op basis van het document dat u meegeeft. We hebben de 0,8B-versie van Qwen3.5 gefinetuned op vragen beantwoorden bij documenten in 20 talen. Het draait op een gewone CPU, zonder GPU.
- Parameters
- 0.8B
- Bestand (Q4_K_M)
- 0.67GB
- Talen
- 20talen
- Hardware
- CPUis genoeg
BeschikbaarDownload de gewichten en probeer het zelf Locatie en licentie voorlopig
1/146 van de grootte,
93,8 punten.
In een test met 13.061 vragen in 20 talen hebben we Lynx vergeleken met gpt-oss-120b (117 miljard parameters). Gemiddeld over vier maatstaven scoort Lynx 0.8B 93,8 en gpt-oss-120b 97,5. Bij korte documenten zonder antwoord zegt Lynx in 98,0% van de gevallen terecht dat het er niet staat; dat is vrijwel gelijk aan 120B.
Antwoorden uit een kort document3.751 vragen
Zoeken in een lang document (ca. 2.500 tokens)3.697 vragen
‘Staat er niet’ zeggen bij een kort document zonder antwoord3.650 vragen
‘Staat er niet’ zeggen bij een lang document zonder antwoord1.963 vragen
Slechts bij 25 van de 7.448 vragen zei Lynx ‘geen antwoord’ terwijl het antwoord er wel stond (gpt-oss-120b: 32).
* Gemeten in onze eigen test (november 2026, Q4_K_M). Beoordeeld door Qwen3-32B (verschil met beoordeling door gpt-oss-120b: hooguit 0,4 punt). De precieze voorwaarden staan onderaan de pagina.
20 talen,
overal even goed.
Instructie en antwoord blijven gewoon in de taal zelf. Ook de vragen zijn per taal gemaakt uit de Wikipedia in die taal (niet vertaald). Scrolt u verder, dan draaien de tegels om en ziet u de score per taal (aantikken werkt ook).
* De cijfers zijn het gemiddelde van de vier maatstaven (punten). Ongeveer 650 vragen per taal (alleen Hindi: circa 480).
Eén zin vinden
in 2.500 tokens.
Lynx vindt de ene zin met het antwoord in één document dat tussen 16 andere, niet-relevante documenten zit. Terwijl u scrolt, leest Lynx verder. Dit is één vraag uit een aparte test met teksten in de stijl van interne documenten, met het antwoord dat Lynx echt gaf.
VraagOp welke dag is het gemeentelijk zwembad van Groenveld gesloten?
Gevonden onderbouwing
Antwoord van Lynx
* Alle teksten zijn verzonnen (gemaakt voor de test).
Op alleen een CPU,
in circa 7 seconden.
In een chatvenster spelen we af hoe Lynx op de CPU van een laptop (zonder GPU) een document van circa 2.500 tokens leest en antwoordt. Het afspelen gaat 3× versneld; de klok toont de werkelijke seconden.
Lynxdraait op de CPU van deze pc
Op welke dag is het gemeentelijk zwembad van Groenveld gesloten?Bijlage: 16 documenten (ca. 2.500 tokens)
0.0s3× versneld
Document lezenAntwoord schrijven
- Lezen
- 388 tokens/s
- Schrijven
- 41 tokens/s
- Hardware
- Core i7-11800H · 8 threads
* Eigen meting (Q4_K_M, llama.cpp). Leessnelheid bij 2.048 tokens, schrijfsnelheid na het lezen van 4.000 tokens. De waarden hangen af van de hardware en de lengte van het document.
In gebruik:
één instructie.
Zet het document en de vraag in dezelfde instructie als waarmee het model is getraind, en verstuur die. Een systeemprompt is niet nodig.
Het antwoord dat terugkomt
- Zet de denkmodus uit (
enable_thinking: false). Het model is zonder denkstap getraind. - Met
temperature 0krijgt u altijd hetzelfde antwoord. - Het antwoord is één zin die de woorden van de vraag volgt. Gemiddelde lengte: 13 tot 26 tokens.
{"messages": [{"role": "user",
"content": "(de instructie hierboven)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Downloaden en
direct draaien.
2
Starten met llama.cpp
Een versie die Qwen3.5 ondersteunt (getest met b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Instructie versturen
Verstuur het bericht in de vorm hierboven naar het OpenAI-compatibele /v1/chat/completions.
Hiervoor geschikt
- Antwoorden uit interne regelingen, handleidingen en FAQ's, met de alinea waar het staat
- Zoeken in documenten in een omgeving waar data niet naar buiten mag
- Werkplekken waar documenten in meerdere talen door elkaar lopen
Hiervoor past een ander model beter
- Lange samenvattingen (het antwoord is één zin)
- Informatie-extractie naar JSON
- Vragen naar algemene kennis die niet in het document staat
Kies een document
en probeer het.
U kunt klaargezette documenten en vragen sturen naar een Lynx 0.8B die op onze server draait. Kies één document en één vraag en druk op ‘Uitvoeren’. Er zitten ook vragen tussen waarop het document geen antwoord geeft.
Live: het echte model antwoordt nu, met alleen de CPU van deze server
1Kies een document
2Kies een vraag
3Antwoord van Lynx
Lynx 0.8Bdraait op de server
Hier verschijnt het antwoord.
Meetmethode en
contact.
- Vragen: Qwen3-32B maakte vragen en antwoorden bij alinea's uit de Wikipedia van elk van de 20 talen. gpt-oss-120b controleerde vraag, antwoord en document; na het schrappen van ongeschikte gevallen bleven 13.061 vragen over.
- Vier maatstaven: een alinea met het antwoord (80–400 tokens) / een lang document waarin die alinea tussen andere artikelen staat (ca. 1.500–3.500 tokens) / een alinea zonder antwoord (een andere alinea uit hetzelfde artikel, of een ander artikel) / een lang document waaruit de alinea met het antwoord is weggelaten.
- Modellen: Lynx 0.8B (Q4_K_M, llama.cpp) en gpt-oss-120b (vLLM, reasoning effort medium). De instructie is exact dezelfde.
- Beoordeling: twee modellen, Qwen3-32B en gpt-oss-120b, bepaalden of een antwoord juist was (de twee uitkomsten verschillen hooguit 0,4 punt).
- Het voorbeeld bij ‘lang document’ is één vraag uit een aparte test met nagemaakte interne regelingen, mededelingen en dergelijke.
- Uitgevoerd: november 2026. Net als de andere cijfers op de startpagina herzien we deze vóór de officiële publicatie.