Kecil, tapi
teliti membaca.
Lynx adalah LLM kecil khusus RAG yang menjawab pertanyaan dalam satu kalimat, hanya berdasarkan dokumen yang Anda berikan. Kami melakukan fine-tuning pada Qwen3.5 0.8B untuk tanya jawab pencarian dokumen dalam 20 bahasa. Berjalan di CPU biasa, tanpa GPU.
- Parameter
- 0.8B
- Berkas (Q4_K_M)
- 0.67GB
- Bahasa
- 20bahasa
- Perangkat
- CPUsaja cukup
TersediaUnduh bobotnya dan coba sendiri Lokasi unduhan dan lisensi masih sementara
Ukuran 1/146,
skor 93.8.
Kami membandingkannya dengan gpt-oss-120b (117 miliar parameter) pada tes 13,061 soal dalam 20 bahasa. Rata-rata dari empat tolok ukur: Lynx 0.8B 93.8, gpt-oss-120b 97.5. Kemampuan mengatakan “tidak ada” pada dokumen pendek yang tidak memuat jawaban mencapai 98.0, hampir sama dengan 120B.
Menjawab dari dokumen pendek3,751 soal
Mencari di dokumen panjang (sekitar 2,500 token)3,697 soal
Mengatakan “tidak ada” pada dokumen pendek tanpa jawaban3,650 soal
Mengatakan “tidak ada” pada dokumen panjang tanpa jawaban1,963 soal
Jawabannya tertulis, tetapi model menolak dengan “tidak ada jawaban”: hanya 25 dari 7,448 soal (gpt-oss-120b: 32 soal).
* Hasil pengukuran pada tes internal kami (November 2026, Q4_K_M). Penilaian oleh Qwen3-32B (selisih dengan penilaian gpt-oss-120b tidak lebih dari 0.4 poin). Rincian kondisi ada di akhir halaman.
20 bahasa,
sama baiknya.
Instruksi maupun jawabannya tetap dalam bahasa tersebut. Soalnya pun dibuat dari Wikipedia tiap bahasa (bukan hasil terjemahan). Gulir ke bawah, dan ubin akan berbalik menampilkan skor tiap bahasa (ubin juga berbalik saat ditekan).
* Angka adalah rata-rata empat tolok ukur (poin). Sekitar 650 soal per bahasa (hanya bahasa Hindi sekitar 480 soal).
Dari 2,500 token,
temukan satu kalimat.
Lynx menemukan satu kalimat jawaban di satu dokumen yang terselip di antara 16 dokumen tak berkaitan. Seiring Anda menggulir, Lynx membaca dokumen demi dokumen. Ini satu soal dari tes lain yang dibuat menyerupai dokumen internal, beserta jawaban yang benar-benar diberikan Lynx.
PertanyaanHari apa Kolam Renang Kota Arumdalu tutup?
Dasar yang ditemukan
Jawaban Lynx
* Semua teks bersifat fiktif (dibuat untuk tes).
Hanya CPU,
sekitar 7 detik.
Di layar obrolan, kami memutar ulang proses membaca dokumen sekitar 2,500 token hingga menjawab, di CPU laptop (tanpa GPU). Pemutaran 3x lebih cepat; jamnya menunjukkan detik sebenarnya.
LynxBerjalan di CPU PC ini
Hari apa Kolam Renang Kota Arumdalu tutup?Lampiran: 16 dokumen (sekitar 2,500 token)
0.0detikDiputar 3x lebih cepat
Membaca dokumenMenulis jawaban
- Membaca
- 388 token/detik
- Menulis jawaban
- 41 token/detik
- Perangkat
- Core i7-11800H, 8 thread
* Pengukuran internal (Q4_K_M, llama.cpp). Kecepatan membaca diukur pada 2,048 token; kecepatan menulis diukur setelah membaca 4,000 token. Hasil berbeda tergantung perangkat dan panjang dokumen.
Cara pakainya:
satu instruksi.
Cukup masukkan dokumen dan pertanyaan ke instruksi yang sama dengan saat pelatihan, lalu kirim. Tidak perlu system prompt.
Jawaban
- Matikan mode berpikir (
enable_thinking: false). Model dilatih tanpa mode berpikir. - Dengan
temperature 0, jawabannya selalu sama. - Jawaban berupa satu kalimat yang mengikuti kata-kata pertanyaan. Panjangnya rata-rata 13–26 token.
{"messages": [{"role": "user",
"content": "(instruksi di atas)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Unduh, lalu
langsung jalankan.
2
Jalankan dengan llama.cpp
Versi yang mendukung Qwen3.5 (teruji pada b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Kirim instruksi
Kirim dengan format di atas ke /v1/chat/completions yang kompatibel dengan OpenAI.
Cocok untuk
- Menjawab dari peraturan internal, manual, dan FAQ, lengkap dengan paragraf sumbernya
- Pencarian dokumen di lingkungan yang datanya tidak boleh keluar
- Tempat kerja dengan dokumen multibahasa
Lebih cocok untuk model lain
- Ringkasan panjang (jawaban Lynx hanya satu kalimat)
- Ekstraksi informasi ke JSON
- Pertanyaan pengetahuan umum yang tidak ada di dokumen
Pilih dokumen,
lalu coba.
Anda bisa mengirim dokumen dan pertanyaan yang sudah kami siapkan ke Lynx 0.8B yang berjalan di server. Pilih satu dokumen dan satu pertanyaan, lalu tekan “Jalankan”. Ada juga pertanyaan yang jawabannya tidak ada di dokumen.
Langsung: model yang sebenarnya sedang menjawab sekarang, hanya dengan CPU server ini
1Pilih dokumen
2Pilih pertanyaan
3Jawaban Lynx
Lynx 0.8BBerjalan di server
Jawaban akan tampil di sini.
Cara mengukur,
dan konsultasi.
- Soal: Qwen3-32B membuat pertanyaan dan jawaban dari paragraf Wikipedia dalam masing-masing dari 20 bahasa. gpt-oss-120b memeriksa pertanyaan, jawaban, dan dokumennya; setelah yang tidak layak dibuang, tersisa 13,061 soal.
- Empat tolok ukur: paragraf yang memuat jawaban (80–400 token) / dokumen panjang berisi paragraf itu yang dicampur dengan artikel lain (sekitar 1,500–3,500 token) / paragraf tanpa jawaban (paragraf lain dari artikel yang sama, atau artikel lain) / dokumen panjang yang paragraf jawabannya dicabut.
- Model: Lynx 0.8B (Q4_K_M, llama.cpp) dan gpt-oss-120b (vLLM, reasoning effort medium). Instruksinya persis sama.
- Penilaian: dua model, Qwen3-32B dan gpt-oss-120b, menilai benar atau tidaknya jawaban (selisih kedua hasil tidak lebih dari 0.4 poin).
- Contoh “dokumen panjang” adalah satu soal dari tes lain yang dibuat menyerupai peraturan internal, pengumuman, dan sejenisnya.
- Pelaksanaan: November 2026. Seperti angka lain di halaman utama, akan ditinjau ulang sebelum rilis resmi.