Petit, mais il lit
pour de bon.
Lynx est un petit LLM dédié au RAG : il répond à la question en une phrase, en s’appuyant uniquement sur le document fourni. Nous avons affiné Qwen3.5 0.8B pour les questions-réponses sur documents, en 20 langues. Il tourne sur un CPU ordinaire, sans GPU.
- Paramètres
- 0.8B
- Fichier (Q4_K_M)
- 0.67GB
- Langues
- 20 langues
- Matériel
- CPU seul, ça suffit
Disponible Téléchargez les poids et essayez hébergement et licence provisoires
146 fois plus petit,
93,8 points.
Nous l’avons comparé à gpt-oss-120b (117 milliards de paramètres) sur un test de 13 061 questions en 20 langues. Moyenne des quatre critères : 93,8 pour Lynx 0.8B, 97,5 pour gpt-oss-120b. Pour dire « pas de réponse » face à un document court qui n’en contient pas, il obtient 98,0, presque autant que le 120B.
Répondre à partir d’un document court 3 751 questions
Chercher dans un document long (env. 2 500 tokens) 3 697 questions
Dire « pas de réponse » face à un document court sans réponse 3 650 questions
Dire « pas de réponse » face à un document long sans réponse 1 963 questions
Il n’a refusé à tort (« pas de réponse » alors qu’elle était écrite) que pour 25 questions sur 7 448 (32 pour gpt-oss-120b).
* Mesures issues de nos propres tests (novembre 2026, Q4_K_M). Notation par Qwen3-32B (écart de 0,4 point au plus avec la notation par gpt-oss-120b). Conditions détaillées en fin de page.
20 langues,
même sérieux.
Le prompt comme la réponse restent dans la langue concernée. Les questions aussi ont été créées à partir de la Wikipédia de chaque langue (sans traduction). Faites défiler jusqu’en bas : les tuiles se retournent et affichent le score de chaque langue (un clic sur une tuile la retourne aussi).
* Les chiffres sont la moyenne des quatre critères (en points). Environ 650 questions par langue (480 environ pour le hindi).
Dans 2 500 tokens,
trouver une phrase.
Lynx retrouve la phrase qui répond dans un document mêlé à 16 autres, sans rapport. Au fil du défilement, il avance dans sa lecture. Il s’agit d’une question tirée d’un autre test, rédigé à la manière de documents internes, et de la réponse que Lynx a réellement donnée.
QuestionQuel jour la piscine municipale de Valvert est-elle fermée ?
Passage trouvé
Réponse de Lynx
* Tous les textes sont fictifs (rédigés pour le test).
Sur CPU seul,
environ 7 secondes.
Sur le CPU d’un PC portable (sans GPU), voici dans une fenêtre de chat la lecture d’un document d’environ 2 500 tokens, jusqu’à la réponse. La lecture est accélérée 3 fois ; le chronomètre affiche les secondes réelles.
Lynx tourne sur le CPU de ce PC
Quel jour la piscine municipale de Valvert est-elle fermée ? Pièces jointes : 16 documents (env. 2 500 tokens)
0.0 svitesse ×3
Lire le documentÉcrire la réponse
- Lecture
- 388 tokens/s
- Écriture
- 41 tokens/s
- Matériel
- Core i7-11800H, 8 threads
* Mesures internes (Q4_K_M, llama.cpp). Lecture mesurée sur 2 048 tokens, écriture après lecture de 4 000 tokens. Les valeurs varient selon le matériel et la longueur du document.
Mode d’emploi :
un seul prompt.
Il suffit d’envoyer le même prompt qu’à l’entraînement, avec le document et la question. Aucun prompt système n’est nécessaire.
La réponse renvoyée
- Désactivez le mode réflexion (
enable_thinking: false). Le modèle a été entraîné sans réflexion. - Avec
temperature 0, la réponse est toujours la même. - La réponse est une phrase qui reprend les mots de la question. Longueur moyenne : 13 à 26 tokens.
{"messages": [{"role": "user",
"content": "(le prompt ci-dessus)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Téléchargez,
lancez aussitôt.
2
Lancer avec llama.cpp
Version compatible Qwen3.5 (vérifié avec b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Envoyer le prompt
Envoyez-le sous la forme ci-dessus à /v1/chat/completions, compatible OpenAI.
Usages adaptés
- Répondre à partir de règlements internes, de manuels et de FAQ, en montrant le paragraphe source
- Recherche documentaire là où les données ne peuvent pas sortir
- Environnements où se mêlent des documents en plusieurs langues
Mieux vaut un autre modèle pour
- Les longs résumés (la réponse tient en une phrase)
- L’extraction d’informations en JSON
- Les questions de culture générale absentes du document
Choisissez un document,
essayez.
Envoyez un document et une question préparés à Lynx 0.8B, qui tourne sur un serveur. Choisissez un document, puis une question, et cliquez sur « Lancer ». Certaines questions n’ont pas de réponse dans le document.
En direct : le vrai modèle répond en ce moment, avec le seul CPU de ce serveur
1 Choisir un document
2 Choisir une question
3 Réponse de Lynx
Lynx 0.8B tourne sur un serveur
La réponse s’affichera ici.
La méthode,
et un échange.
- Questions : à partir de paragraphes de la Wikipédia de chacune des 20 langues, Qwen3-32B a rédigé les questions et les réponses. gpt-oss-120b a vérifié questions, réponses et documents, et écarté ce qui ne convenait pas : il en reste 13 061.
- Quatre critères : un paragraphe qui contient la réponse (80 à 400 tokens) / ce paragraphe mêlé à d’autres articles dans un document long (1 500 à 3 500 tokens environ) / un paragraphe sans réponse (autre paragraphe du même article, ou autre article) / le document long privé du paragraphe qui répond.
- Modèles : Lynx 0.8B (Q4_K_M, llama.cpp) et gpt-oss-120b (vLLM, reasoning effort medium). Le prompt est strictement le même.
- Notation : deux modèles, Qwen3-32B et gpt-oss-120b, ont jugé si chaque réponse était correcte (écart de 0,4 point au plus entre les deux).
- L’exemple du « document long » est une question d’un autre test, rédigé à la manière de règlements internes et de notes d’information.
- Réalisation : novembre 2026. Comme les autres chiffres de la page d’accueil, ceux-ci seront revus avant la publication officielle.