Liten, men
läser ordentligt.
Lynx är en liten LLM enbart för RAG: den besvarar frågan med en enda mening, bara utifrån det dokument den får. Vi har finjusterat Qwen3.5 0.8B för frågor och svar vid dokumentsökning på 20 språk. Den körs på en vanlig CPU, utan GPU.
- Parametrar
- 0.8B
- Fil (Q4_K_M)
- 0.67GB
- Språk
- 20språk
- Utrustning
- CPUräcker
Ute nuLadda ner vikterna och testa plats och licens är preliminära
1/146 av storleken,
93,8 poäng.
Vi jämförde med gpt-oss-120b (117 miljarder parametrar) i ett test med 13 061 frågor på 20 språk. Snittet över fyra mått är 93,8 för Lynx 0.8B och 97,5 för gpt-oss-120b. På måttet att säga ”finns inte” när ett kort dokument saknar svaret får Lynx 98,0 – nästan samma som 120B.
Svara utifrån ett kort dokument3 751 frågor
Hitta svaret i ett långt dokument (ca 2 500 tokens)3 697 frågor
Säga ”finns inte” när ett kort dokument saknar svaret3 650 frågor
Säga ”finns inte” när ett långt dokument saknar svaret1 963 frågor
Bara i 25 av 7 448 frågor avböjde Lynx med ”svaret finns inte” trots att svaret stod i texten (gpt-oss-120b: 32 frågor).
* Uppmätt i vårt eget test (november 2026, Q4_K_M). Bedömt av Qwen3-32B (skillnaden mot bedömning med gpt-oss-120b är högst 0,4 poäng). Detaljerade villkor finns längst ner på sidan.
På 20 språk,
lika bra.
Både instruktion och svar fungerar direkt på respektive språk. Även frågorna är gjorda från Wikipedia på varje språk (inte översatta). Scrolla ner så vänds brickorna och visar poängen per språk (du kan också trycka på en bricka).
* Siffrorna är snittet av de fyra måtten (poäng). Cirka 650 frågor per språk (hindi: cirka 480).
Hitta en mening
bland 2 500 tokens.
Lynx hittar meningen med svaret i ett dokument som gömts bland 16 orelaterade. När du scrollar läser Lynx vidare i dokumenten. Det här är en fråga ur ett annat test, gjort för att likna interna dokument, och svaret som Lynx faktiskt gav.
FrågaVilken veckodag har Lövåsa simhall stängt?
Hittat belägg
Lynx svar
* Alla texter är påhittade (skrivna för testet).
Bara CPU,
cirka 7 sekunder.
I chattfönstret spelar vi upp hur CPU:n i en bärbar dator (utan GPU) läser ett dokument på cirka 2 500 tokens och svarar. Uppspelningen går i 3× fart, klockan visar verkliga sekunder.
Lynxkörs på den här datorns CPU
Vilken veckodag har Lövåsa simhall stängt?Bifogat: 16 dokument (ca 2 500 tokens)
0.0s3× fart
Läser dokumentSkriver svar
- Inläsning
- 388 tokens/s
- Skriver svar
- 41 tokens/s
- Utrustning
- Core i7-11800H, 8 trådar
* Intern mätning (Q4_K_M, llama.cpp). Inläsningen gäller vid 2 048 tokens, skrivhastigheten efter 4 000 lästa tokens. Värdena varierar med utrustning och dokumentlängd.
Allt som behövs:
en instruktion.
Lägg in dokument och fråga i samma instruktion som modellen tränades med, och skicka. Ingen systemprompt behövs.
Svaret du får
- Stäng av tänkeläget (
enable_thinking: false). Modellen är tränad utan tänkande. - Med
temperature 0blir svaret alltid detsamma. - Svaret är en mening som följer frågans ordval. Längden är i snitt 13–26 tokens.
{"messages": [{"role": "user",
"content": "(instruktionen ovan)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Ladda ner och
kör direkt.
2
Starta med llama.cpp
En version med stöd för Qwen3.5 (testat med b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Skicka instruktionen
Skicka i formatet ovan till OpenAI-kompatibla /v1/chat/completions.
Passar bra till
- Svar ur interna regler, manualer och FAQ – med stycket som källa
- Dokumentsökning i miljöer där data inte får lämna huset
- Verksamheter med dokument på flera språk
Andra modeller passar bättre för
- Långa sammanfattningar (svaret blir en enda mening)
- Informationsextraktion till JSON
- Allmänbildningsfrågor som inte besvaras i dokumentet
Välj ett dokument
och testa.
Skicka färdiga dokument och frågor till Lynx 0.8B som körs på vår server. Välj ett dokument och en fråga och tryck på ”Kör”. Vi har också lagt in frågor som dokumentet inte besvarar.
Live: den riktiga modellen svarar just nu, med enbart den här serverns CPU
1Välj dokument
2Välj fråga
3Lynx svar
Lynx 0.8Bkörs på servern
Här visas svaret.
Mätmetod
och kontakt.
- Frågor: Qwen3-32B skapade frågor och svar från Wikipedia-stycken på vart och ett av de 20 språken. gpt-oss-120b granskade frågor, svar och dokument och rensade bort olämpliga. Kvar blev 13 061 frågor.
- Fyra mått: ett stycke med svaret (80–400 tokens) / ett långt dokument där stycket blandats med andra artiklar (ca 1 500–3 500 tokens) / ett stycke utan svaret (ett annat stycke ur samma artikel, eller en annan artikel) / ett långt dokument där stycket med svaret tagits bort.
- Modeller: Lynx 0.8B (Q4_K_M, llama.cpp) och gpt-oss-120b (vLLM, reasoning effort medium). Instruktionen är exakt densamma.
- Bedömning: två modeller, Qwen3-32B och gpt-oss-120b, fick avgöra om svaren var rätt (skillnaden mellan de två är högst 0,4 poäng).
- Exemplet med ”långt dokument” är en fråga ur ett annat test, gjort för att likna interna regler och meddelanden.
- Genomfört: november 2026. Liksom övriga siffror på startsidan ses de över före den officiella lanseringen.