Piccolo, ma
legge davvero.
Lynx è un piccolo LLM dedicato al RAG: risponde alle domande con una sola frase, basandosi solo sui documenti che riceve. È un Qwen3.5 da 0.8B a cui abbiamo fatto un fine-tuning per rispondere a domande su documenti in 20 lingue. Gira su una normale CPU, senza GPU.
- Parametri
- 0.8B
- File (Q4_K_M)
- 0.67GB
- Lingue supportate
- 20lingue
- Hardware
- CPUe basta
Disponibile I pesi si possono scaricare e provare repository e licenza provvisori
Con 1/146 dei parametri,
93,8 punti.
Lo abbiamo confrontato con gpt-oss-120b (117 miliardi di parametri) su un test di 13.061 domande in 20 lingue. La media dei quattro criteri è 93,8 per Lynx 0.8B e 97,5 per gpt-oss-120b. Nel dire «non c'è» davanti a un documento breve senza risposta ottiene 98,0: quasi come il 120B.
Rispondere da un documento breve 3.751 domande
Cercare in un documento lungo (circa 2.500 token) 3.697 domande
Dire «non c'è» con un documento breve senza risposta 3.650 domande
Dire «non c'è» con un documento lungo senza risposta 1.963 domande
Solo in 25 domande su 7.448 ha risposto «non c'è risposta» quando la risposta era scritta (gpt-oss-120b: 32).
* Misure su un nostro test (novembre 2026, Q4_K_M). Valutazione affidata a Qwen3-32B (scarto entro 0,4 punti rispetto alla valutazione di gpt-oss-120b). Le condizioni in dettaglio sono in fondo alla pagina.
In 20 lingue,
allo stesso modo.
Prompt e risposta restano nella lingua del documento. Anche le domande nascono dalla Wikipedia di ciascuna lingua (non sono traduzioni). Scorrendo fino in fondo, le tessere si girano e mostrano il punteggio di ogni lingua (si girano anche con un clic).
* I numeri sono la media dei quattro criteri (punti). Circa 650 domande per lingua (solo per l'hindi circa 480).
In 2.500 token,
trovare una frase.
Su 16 documenti che non c'entrano l'uno con l'altro, uno solo contiene la frase con la risposta: Lynx la trova. Mentre scorrete, Lynx avanza nella lettura. La domanda viene da un altro test, costruito a imitazione dei documenti aziendali; la risposta è quella che Lynx ha dato davvero.
DomandaIn che giorno della settimana è chiusa la piscina comunale di Borgoverde?
Passaggio trovato
La risposta di Lynx
* I testi sono tutti di fantasia (creati per il test).
Solo CPU:
circa 7 secondi.
In una schermata di chat riproduciamo ciò che accade sulla CPU di un portatile (senza GPU): dalla lettura di un documento di circa 2.500 token fino alla risposta. La riproduzione è a velocità 3×; il cronometro segna i secondi reali.
Lynx in esecuzione sulla CPU di questo PC
In che giorno della settimana è chiusa la piscina comunale di Borgoverde? Allegati: 16 documenti (circa 2.500 token)
0.0svelocità 3×
Legge il documentoScrive la risposta
- Lettura
- 388 token/s
- Scrittura
- 41 token/s
- Hardware
- Core i7-11800H, 8 thread
* Misure interne (Q4_K_M, llama.cpp). La velocità di lettura è riferita a 2.048 token; quella di scrittura è misurata dopo la lettura di 4.000 token. I valori cambiano con l'hardware e con la lunghezza del documento.
Per usarlo basta
un solo prompt.
Basta inserire documento e domanda nello stesso prompt usato per l'addestramento, e inviarlo. Il system prompt non serve.
La risposta restituita
- La modalità thinking va disattivata (
enable_thinking: false): il modello è addestrato senza ragionamento. - Con
temperature 0la risposta è sempre la stessa. - La risposta è una sola frase che riprende le parole della domanda. In media è lunga 13-26 token.
{"messages": [{"role": "user",
"content": "(il prompt qui sopra)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Si scarica
e gira subito.
2
Avviate con llama.cpp
Serve una versione compatibile con Qwen3.5 (verificato con la b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Inviate il prompt
Inviatelo, nel formato qui sopra, all'endpoint /v1/chat/completions compatibile con OpenAI.
Usi adatti
- Rispondere da regolamenti interni, manuali e FAQ, mostrando il paragrafo di origine
- Ricerca nei documenti in ambienti da cui i dati non possono uscire
- Contesti in cui si mescolano documenti in più lingue
Dove è meglio un altro modello
- Riassunti lunghi (la risposta è una sola frase)
- Estrazione di informazioni in JSON
- Domande di cultura generale, su cose che nei documenti non ci sono
Scegliete un documento
e provate.
Potete inviare a un Lynx 0.8B in esecuzione su server i documenti e le domande che abbiamo preparato. Scegliete un documento e una domanda, poi premete «Esegui». Tra le domande ce ne sono anche alcune a cui il documento non risponde.
Dal vivo: il modello reale sta rispondendo ora, con la sola CPU di questo server
1 Scegliete un documento
2 Scegliete una domanda
3 La risposta di Lynx
Lynx 0.8B in esecuzione su server
Qui comparirà la risposta.
Come misuriamo.
E poi, parliamone.
- Domande: a partire da paragrafi della Wikipedia di ciascuna delle 20 lingue, Qwen3-32B ha creato domande e risposte. gpt-oss-120b ha controllato domande, risposte e documenti e ha scartato quelli inadatti: restano 13.061 domande.
- I quattro criteri: paragrafo con la risposta (80-400 token) / documento lungo, con quel paragrafo mescolato ad altri articoli (circa 1.500-3.500 token) / paragrafo senza risposta (un altro paragrafo dello stesso articolo, o un altro articolo) / documento lungo privato del paragrafo con la risposta.
- Modelli: Lynx 0.8B (Q4_K_M, llama.cpp) e gpt-oss-120b (vLLM, reasoning effort medium). Il prompt è identico.
- Valutazione: la correttezza è stata giudicata da due modelli, Qwen3-32B e gpt-oss-120b (scarto tra i due entro 0,4 punti).
- L'esempio del «documento lungo» è una domanda di un altro test, costruito a imitazione di regolamenti e avvisi aziendali.
- Esecuzione: novembre 2026. Come gli altri valori della home page, saranno rivisti prima della pubblicazione ufficiale.