Klein –
und liest genau.
Lynx ist ein kleines LLM nur für RAG: Es beantwortet Fragen in einem Satz und stützt sich dabei allein auf die übergebenen Dokumente. Grundlage ist Qwen3.5 mit 0.8B, per Fine-Tuning auf Fragen zu Dokumenten in 20 Sprachen abgestimmt. Es läuft ohne GPU auf einer ganz normalen CPU.
- Parameter
- 0.8B
- Datei (Q4_K_M)
- 0.67GB
- Sprachen
- 20Sprachen
- Hardware
- CPUgenügt
VerfügbarGewichte herunterladen und ausprobieren Quelle und Lizenz vorläufig
1/146 der Größe,
93,8 Punkte.
In einem Test mit 13.061 Fragen in 20 Sprachen haben wir Lynx mit gpt-oss-120b (117 Mrd. Parameter) verglichen. Im Mittel der vier Kriterien erreicht Lynx 0.8B 93,8 Punkte, gpt-oss-120b 97,5. Beim Kriterium „bei kurzen Dokumenten ohne Antwort ‚steht nicht drin‘ sagen“ kommt Lynx auf 98,0 – fast gleichauf mit 120B.
Aus einem kurzen Dokument antworten3.751 Fragen
In einem langen Dokument (ca. 2.500 Token) suchen3.697 Fragen
Kurzes Dokument ohne Antwort: „steht nicht drin“ sagen3.650 Fragen
Langes Dokument ohne Antwort: „steht nicht drin“ sagen1.963 Fragen
Nur bei 25 von 7.448 Fragen hat Lynx „keine Antwort“ gemeldet, obwohl die Antwort im Dokument stand (gpt-oss-120b: 32).
* Eigene Messung (November 2026, Q4_K_M). Bewertet von Qwen3-32B (Abweichung zur Bewertung durch gpt-oss-120b: höchstens 0,4 Punkte). Die genauen Bedingungen stehen am Ende der Seite.
20 Sprachen,
gleich gut.
Prompt und Antwort bleiben in der jeweiligen Sprache. Auch die Testfragen stammen aus der Wikipedia der jeweiligen Sprache (nicht übersetzt). Scrollen Sie nach unten: Die Kacheln drehen sich um und zeigen die Punktzahl je Sprache (ein Klick auf eine Kachel dreht sie ebenfalls).
* Die Zahlen sind der Mittelwert der vier Kriterien (Punkte). Rund 650 Fragen je Sprache (nur Hindi: rund 480).
In 2.500 Token
einen Satz finden.
Zwischen 16 Dokumenten ohne jeden Bezug zueinander findet Lynx den einen Satz mit der Antwort. Beim Scrollen liest Lynx die Dokumente Stück für Stück. Die Frage stammt aus einem weiteren Test im Stil interner Dokumente; die Antwort hat Lynx tatsächlich so gegeben.
FrageAn welchem Wochentag ist das Stadtbad Grünfelden geschlossen?
Gefundener Beleg
Antwort von Lynx
* Alle Texte sind frei erfunden (für den Test geschrieben).
Nur CPU,
rund 7 Sekunden.
Auf der CPU eines Laptops (ohne GPU): ein Dokument mit rund 2.500 Token lesen und antworten – nachgespielt im Chatfenster. Die Wiedergabe läuft mit dreifacher Geschwindigkeit, die Uhr zeigt die echten Sekunden.
Lynxläuft auf der CPU dieses PCs
An welchem Wochentag ist das Stadtbad Grünfelden geschlossen?Anhang: 16 Dokumente (ca. 2.500 Token)
0.0s3-fache Geschwindigkeit
Dokument lesenAntwort schreiben
- Lesen
- 388 Token/s
- Schreiben
- 41 Token/s
- Hardware
- Core i7-11800H, 8 Threads
* Interne Messung (Q4_K_M, llama.cpp). Lesetempo bei 2.048 Token, Schreibtempo nach 4.000 gelesenen Token. Die Werte hängen von Hardware und Dokumentlänge ab.
Die Bedienung:
ein einziger Prompt.
Setzen Sie Dokument und Frage in denselben Prompt ein, mit dem das Modell trainiert wurde – fertig. Ein System-Prompt ist nicht nötig.
Die Antwort
- Thinking-Modus ausschalten (
enable_thinking: false). Das Modell wurde ohne Thinking trainiert. - Mit
temperature 0kommt immer dieselbe Antwort. - Die Antwort ist ein Satz, der die Worte der Frage aufgreift – im Schnitt 13 bis 26 Token lang.
{"messages": [{"role": "user",
"content": "(Prompt von oben)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Herunterladen
und sofort starten.
2
Mit llama.cpp starten
Eine Version mit Qwen3.5-Unterstützung (geprüft mit b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Prompt senden
An das OpenAI-kompatible /v1/chat/completions senden – im Format von oben.
Dafür eignet sich Lynx
- Antworten aus Richtlinien, Handbüchern und FAQ – samt dem Absatz, der sie belegt
- Dokumentsuche in Umgebungen, aus denen keine Daten nach außen dürfen
- Arbeitsplätze, an denen Dokumente in mehreren Sprachen zusammenkommen
Dafür eignen sich andere Modelle
- Lange Zusammenfassungen (die Antwort ist ein Satz)
- Informationsextraktion als JSON
- Fragen nach Allgemeinwissen, das nicht im Dokument steht
Dokument wählen
und ausprobieren.
Schicken Sie vorbereitete Dokumente und Fragen an ein Lynx 0.8B, das auf einem Server läuft. Wählen Sie ein Dokument und eine Frage und klicken Sie auf „Ausführen“. Es sind auch Fragen dabei, auf die das Dokument keine Antwort hat.
Live: Das echte Modell antwortet gerade jetzt, nur mit der CPU dieses Servers
1Dokument wählen
2Frage wählen
3Antwort von Lynx
Lynx 0.8Bläuft auf dem Server
Hier erscheint die Antwort.
Messmethode
und Anfrage.
- Fragen: Qwen3-32B hat aus Wikipedia-Absätzen in jeder der 20 Sprachen Fragen und Antworten erzeugt. gpt-oss-120b hat Frage, Antwort und Dokument geprüft; nach dem Aussortieren ungeeigneter Fälle blieben 13.061 Fragen.
- Vier Kriterien: Absatz mit Antwort (80–400 Token) / langes Dokument, in dem dieser Absatz zwischen anderen Artikeln steht (ca. 1.500–3.500 Token) / Absatz ohne Antwort (anderer Absatz desselben Artikels oder ein anderer Artikel) / langes Dokument, aus dem der Absatz mit der Antwort entfernt wurde.
- Modelle: Lynx 0.8B (Q4_K_M, llama.cpp) und gpt-oss-120b (vLLM, reasoning effort medium). Der Prompt ist exakt derselbe.
- Bewertung: Zwei Modelle – Qwen3-32B und gpt-oss-120b – haben beurteilt, ob die Antwort stimmt (ihre Ergebnisse weichen um höchstens 0,4 Punkte voneinander ab).
- Das Beispiel „langes Dokument“ ist eine Frage aus einem weiteren Test, der internen Richtlinien und Mitteilungen nachempfunden ist.
- Durchgeführt: November 2026. Wie die übrigen Zahlen auf der Startseite prüfen wir die Werte vor der offiziellen Veröffentlichung noch einmal.