Pequeno,
mas lê direito.
O Lynx é um LLM pequeno, feito só para RAG: responde à pergunta em uma frase, com base apenas no documento fornecido. É o Qwen3.5 de 0,8B com ajuste fino para perguntas e respostas sobre documentos em 20 idiomas. Roda em uma CPU comum, sem GPU.
- Parâmetros
- 0.8B
- Arquivo (Q4_K_M)
- 0.67GB
- Idiomas
- 20 idiomas
- Equipamento
- CPU já basta
DisponívelBaixe os pesos e teste repositório e licença provisórios
1/146 do tamanho,
93,8 pontos.
Em um teste com 13.061 perguntas em 20 idiomas, comparamos o Lynx com o gpt-oss-120b (117 bilhões de parâmetros). Na média de quatro critérios, o Lynx 0.8B faz 93,8 e o gpt-oss-120b, 97,5. Em dizer “não há resposta” diante de um documento curto sem a resposta, faz 98,0, quase o mesmo que o 120B.
Responder com base em um documento curto 3.751 perguntas
Achar a resposta em um documento longo (cerca de 2.500 tokens) 3.697 perguntas
Dizer “não há” diante de um documento curto sem a resposta 3.650 perguntas
Dizer “não há” diante de um documento longo sem a resposta 1.963 perguntas
Só em 25 de 7.448 perguntas ele recusou com “não há resposta” mesmo com a resposta no texto (o gpt-oss-120b, em 32).
* Medições em teste próprio (novembro de 2026, Q4_K_M). Avaliação feita pelo Qwen3-32B (diferença de até 0,4 ponto em relação à avaliação feita pelo gpt-oss-120b). As condições detalhadas estão no fim da página.
Em 20 idiomas,
do mesmo jeito.
O prompt e a resposta ficam no próprio idioma. As perguntas também foram criadas a partir da Wikipédia de cada idioma (não são traduções). Role até o fim: os blocos viram e mostram a nota de cada idioma (clicar em um bloco também o vira).
* Os números são a média dos quatro critérios (em pontos). Cerca de 650 perguntas por idioma (só o hindi tem cerca de 480).
Em 2.500 tokens,
achar uma frase.
Em meio a 16 documentos sem relação entre si, ele encontra a única frase com a resposta. Conforme você rola a página, o Lynx avança na leitura. É uma pergunta de outro teste, criado no estilo de documentos internos, com a resposta que o Lynx realmente deu.
PerguntaEm que dia da semana a piscina municipal de Vale Azul fecha?
Trecho encontrado
Resposta do Lynx
* Todos os textos são fictícios (criados para teste).
Só com CPU,
cerca de 7 segundos.
Em uma tela de chat, reproduzimos o caminho até a resposta: a CPU de um notebook (sem GPU) lê um documento de cerca de 2.500 tokens e responde. A reprodução está em 3x; o relógio marca os segundos reais.
Lynx rodando na CPU deste PC
Em que dia da semana a piscina municipal de Vale Azul fecha? Anexo: 16 documentos (cerca de 2.500 tokens)
0.0sreprodução em 3x
Ler o documentoEscrever a resposta
- Leitura
- 388 tokens/s
- Escrita
- 41 tokens/s
- Equipamento
- Core i7-11800H, 8 threads
* Medição interna (Q4_K_M, llama.cpp). A leitura foi medida com 2.048 tokens; a escrita, depois de ler 4.000 tokens. Varia conforme o equipamento e o tamanho do documento.
Para usar,
basta um prompt.
É só enviar o mesmo prompt usado no treinamento, com o documento e a pergunta. Não precisa de prompt de sistema.
Resposta recebida
- Desligue o modo de raciocínio (
enable_thinking: false). O treinamento foi feito sem raciocínio. - Com
temperature 0, a resposta é sempre a mesma. - A resposta é uma frase que retoma as palavras da pergunta. Tem, em média, de 13 a 26 tokens.
{"messages": [{"role": "user",
"content": "(o prompt acima)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Baixe e rode
na hora.
2
Iniciar com o llama.cpp
Use uma versão compatível com o Qwen3.5 (testado na b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Enviar o prompt
Envie no formato acima para /v1/chat/completions, compatível com a OpenAI.
Onde ele vai bem
- Responder com base em regulamentos internos, manuais e FAQs, mostrando o parágrafo de origem
- Busca em documentos em ambientes de onde os dados não podem sair
- Operações em que se misturam documentos em vários idiomas
Onde outros modelos vão melhor
- Resumos longos (a resposta sai em uma frase)
- Extração de informações para JSON
- Perguntas de conhecimento geral que não está no documento
Escolha um documento
e teste.
Você pode enviar os documentos e as perguntas que preparamos a um Lynx 0.8B que roda no servidor. Escolha um documento e uma pergunta e clique em “Executar”. Há também perguntas cuja resposta não está no documento.
Ao vivo: o modelo real está respondendo agora, apenas com a CPU deste servidor
1 Escolha o documento
2 Escolha a pergunta
3 Resposta do Lynx
Lynx 0.8B rodando no servidor
A resposta aparece aqui.
Como medimos,
e como falar conosco.
- Perguntas: o Qwen3-32B criou perguntas e respostas a partir de parágrafos da Wikipédia em cada um dos 20 idiomas. O gpt-oss-120b revisou perguntas, respostas e documentos; excluídos os itens inadequados, ficaram 13.061 perguntas.
- Quatro critérios: parágrafo com a resposta (80 a 400 tokens) / documento longo, com esse parágrafo misturado a outros artigos (cerca de 1.500 a 3.500 tokens) / parágrafo sem a resposta (outro parágrafo do mesmo artigo ou de outro artigo) / documento longo sem o parágrafo da resposta.
- Modelos: Lynx 0.8B (Q4_K_M, llama.cpp) e gpt-oss-120b (vLLM, reasoning effort medium). O prompt é exatamente o mesmo.
- Avaliação: dois modelos, o Qwen3-32B e o gpt-oss-120b, julgaram se cada resposta estava correta (diferença de até 0,4 ponto entre os dois resultados).
- O exemplo de “documento longo” é uma pergunta de outro teste, criado à imagem de regulamentos internos, comunicados e afins.
- Realização: novembro de 2026. Assim como os demais números da página inicial, será revisto antes do lançamento oficial.