Küçük ama
dikkatle okur.
Lynx, soruları yalnızca verdiğiniz belgeye dayanarak tek cümleyle yanıtlayan, RAG'e özel küçük bir LLM'dir. Qwen3.5'in 0.8B modeline, 20 dilde belge üzerinden soru-yanıt için ince ayar yaptık. GPU'suz, sıradan bir CPU'da çalışır.
- Parametre
- 0.8B
- Dosya (Q4_K_M)
- 0.67GB
- Desteklenen diller
- 20dil
- Donanım
- CPUtek başına yeter
YayındaAğırlıkları indirip deneyebilirsiniz Yayın yeri ve lisans geçici
146'da 1 boyutla
93,8 puan.
20 dilde, 13.061 soruluk bir testte gpt-oss-120b (117 milyar parametre) ile karşılaştırdık. Dört ölçütün ortalaması Lynx 0.8B için 93,8, gpt-oss-120b için 97,5. Yanıtı içermeyen kısa bir belgede “yok” diyebilme puanı 98,0; 120B ile neredeyse aynı.
Kısa belgeden yanıtlama3.751 soru
Uzun belgede (yaklaşık 2.500 token) arama3.697 soru
Yanıtı içermeyen kısa belgede “yok” deme3.650 soru
Yanıtı içermeyen uzun belgede “yok” deme1.963 soru
Yanıt belgede yazdığı hâlde “yanıt yok” diyerek geri çevirdiği soru sayısı, 7.448 soruda yalnızca 25 oldu (gpt-oss-120b'de 32).
* Kendi testimizdeki ölçümlerdir (Kasım 2026, Q4_K_M). Puanlamayı Qwen3-32B yaptı (gpt-oss-120b'nin puanlamasıyla fark en çok 0,4 puan). Ayrıntılı koşullar sayfanın sonunda.
20 dilde
aynı başarı.
Talimat da yanıt da o dilde kalır. Soruları da her dilin kendi Wikipedia'sından hazırladık (çeviri değil). Aşağı kaydırınca kutucuklar döner ve dillerin puanları görünür (kutucuğa basınca da döner).
* Rakamlar dört ölçütün ortalamasıdır (puan). Her dilde yaklaşık 650 soru (yalnızca Hintçede yaklaşık 480).
2.500 token içinde
tek cümleyi bulur.
İlgisiz 16 belgenin arasına karışmış tek bir belgeden, yanıtı içeren cümleyi bulur. Siz kaydırdıkça Lynx belgeleri okuyarak ilerler. Burada gördüğünüz, şirket içi belgelere benzetilerek hazırlanmış ayrı bir testten bir soru ve Lynx'in gerçekten verdiği yanıttır.
SoruYeşilova Belediye Havuzu haftanın hangi günü kapalı?
Bulunan dayanak
Lynx'in yanıtı
* Metinlerin tümü kurgusaldır (test için hazırlanmıştır).
Sadece CPU ile
yaklaşık 7 saniye.
Bir dizüstü bilgisayarın CPU'sunda (GPU yok), yaklaşık 2.500 token'lık belgeyi okuyup yanıt vermesini sohbet ekranında izleyin. Oynatma 3 kat hızlıdır, saat ise gerçek saniyeleri gösterir.
LynxBu bilgisayarın CPU'sunda çalışıyor
Yeşilova Belediye Havuzu haftanın hangi günü kapalı?Ek: 16 belge (yaklaşık 2.500 token)
0.0sn3× hızda oynatılıyor
Belgeyi okumaYanıtı yazma
- Okuma
- 388 token/sn
- Yanıtı yazma
- 41 token/sn
- Donanım
- Core i7-11800H, 8 iş parçacığı
* Şirket içi ölçümdür (Q4_K_M, llama.cpp). Okuma hızı 2.048 token'da, yazma hızı 4.000 token okunduktan sonra ölçülmüştür. Donanıma ve belgenin uzunluğuna göre değişir.
Kullanımı:
tek bir talimat.
Eğitimde kullanılan talimatın aynısına belgeyi ve soruyu yerleştirip göndermeniz yeterli. Sistem istemi gerekmez.
Dönen yanıt
- Düşünme modunu kapatın (
enable_thinking: false). Model düşünme olmadan eğitildi. temperature 0ile her seferinde aynı yanıtı alırsınız.- Yanıt, sorudaki sözcükleri izleyen tek bir cümledir. Uzunluğu ortalama 13-26 token'dır.
{"messages": [{"role": "user",
"content": "(yukarıdaki talimat)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}İndirin,
hemen çalıştırın.
2
llama.cpp ile başlatın
Qwen3.5'i destekleyen bir sürüm gerekir (b11829 ile doğrulandı).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Talimatı gönderin
OpenAI uyumlu /v1/chat/completions adresine yukarıdaki biçimde gönderin.
Uygun olduğu işler
- Şirket yönetmeliklerinden, kılavuzlardan ve SSS'lerden, kaynak paragrafıyla birlikte yanıt göstermek
- Verinin dışarı çıkarılamadığı ortamlarda belge araması
- Farklı dillerde belgelerin bir arada bulunduğu ortamlar
Başka modellerin daha uygun olduğu işler
- Uzun özetler (yanıt tek cümledir)
- JSON biçiminde bilgi çıkarma
- Belgede yer almayan genel bilgi soruları
Bir belge seçin,
deneyin.
Sunucuda çalışan Lynx 0.8B'ye hazır belgeleri ve soruları gönderebilirsiniz. Bir belge ve bir soru seçip “Çalıştır”a basın. Aralarına, yanıtı belgede bulunmayan sorular da kattık.
Canlı: gerçek model şu anda yalnızca bu sunucunun CPU'suyla yanıt veriyor
1Belge seçin
2Soru seçin
3Lynx'in yanıtı
Lynx 0.8BSunucuda çalışıyor
Yanıt burada görünecek.
Ölçüm yöntemi
ve görüşme.
- Sorular: 20 dilin her birinde, Wikipedia paragraflarından Qwen3-32B soru ve yanıt üretti. gpt-oss-120b soruyu, yanıtı ve belgeyi denetledi; uygun olmayanlar elendikten sonra 13.061 soru kaldı.
- Dört ölçüt: yanıtı içeren paragraf (80-400 token) / bu paragrafın başka maddelerle karıştırıldığı uzun belge (yaklaşık 1.500-3.500 token) / yanıtı içermeyen paragraf (aynı maddenin başka bir paragrafı ya da başka bir madde) / yanıt paragrafı çıkarılmış uzun belge.
- Modeller: Lynx 0.8B (Q4_K_M, llama.cpp) ve gpt-oss-120b (vLLM, reasoning effort medium). Talimat metni birebir aynıdır.
- Puanlama: Yanıtın doğru olup olmadığına Qwen3-32B ve gpt-oss-120b olmak üzere iki model karar verdi (iki sonuç arasındaki fark en çok 0,4 puan).
- “Uzun belge” örneği, şirket yönetmeliklerine ve duyurulara benzetilerek hazırlanmış ayrı bir testten bir sorudur.
- Tarih: Kasım 2026. Ana sayfadaki diğer rakamlar gibi, resmî yayından önce gözden geçirilecektir.