छोटा है,
पर ध्यान से पढ़ता है।
Lynx सिर्फ़ RAG के लिए बना छोटा LLM है: यह केवल आपके दिए दस्तावेज़ के आधार पर सवाल का जवाब एक वाक्य में देता है। हमने Qwen3.5 के 0.8B मॉडल को 20 भाषाओं में दस्तावेज़ों पर सवाल-जवाब के लिए फ़ाइन-ट्यून किया है। यह बिना GPU के, साधारण CPU पर चलता है।
- पैरामीटर
- 0.8B
- फ़ाइल (Q4_K_M)
- 0.67GB
- भाषाएँ
- 20भाषाएँ
- ज़रूरी मशीन
- CPUही काफ़ी
उपलब्धवेट्स डाउनलोड करके आज़माइए होस्टिंग और लाइसेंस अस्थायी
आकार 146वाँ हिस्सा,
स्कोर 93.8।
20 भाषाओं के 13,061 सवालों के टेस्ट में हमने इसकी तुलना gpt-oss-120b (117 अरब पैरामीटर) से की। चार पैमानों का औसत Lynx 0.8B के लिए 93.8 है और gpt-oss-120b के लिए 97.5। जिस छोटे दस्तावेज़ में जवाब नहीं है, वहाँ “जवाब नहीं है” कह पाने में स्कोर 98.0 है, लगभग 120B के बराबर।
छोटे दस्तावेज़ से जवाब देना3,751 सवाल
लंबे दस्तावेज़ (क़रीब 2,500 टोकन) में खोजना3,697 सवाल
बिना जवाब वाले छोटे दस्तावेज़ पर “नहीं है” कहना3,650 सवाल
बिना जवाब वाले लंबे दस्तावेज़ पर “नहीं है” कहना1,963 सवाल
जवाब लिखा होने पर भी “जवाब नहीं है” कहकर मना करने की ग़लती 7,448 में से सिर्फ़ 25 सवालों पर हुई (gpt-oss-120b: 32 सवाल)।
※ हमारे अपने टेस्ट में मापे गए आँकड़े (नवंबर 2026, Q4_K_M)। जाँच Qwen3-32B ने की (gpt-oss-120b की जाँच से अंतर 0.4 अंक के भीतर)। पूरी शर्तें पेज के अंत में हैं।
20 भाषाओं में,
एक जैसा काम।
प्रॉम्प्ट और जवाब, दोनों उसी भाषा में रहते हैं। सवाल भी हर भाषा की अपनी Wikipedia से बनाए गए हैं (अनुवाद नहीं किए गए)। नीचे तक स्क्रॉल करने पर टाइलें पलटती हैं और हर भाषा का स्कोर दिखता है (टाइल दबाने पर भी पलटती है)।
※ आँकड़े चार पैमानों का औसत (अंक) हैं। हर भाषा में क़रीब 650 सवाल (सिर्फ़ हिन्दी में क़रीब 480)।
2,500 टोकन में से
एक वाक्य की खोज।
16 असंबंधित दस्तावेज़ों के बीच मिलाए गए एक दस्तावेज़ से Lynx जवाब वाला वाक्य ढूँढता है। स्क्रॉल के साथ-साथ Lynx दस्तावेज़ पढ़ता जाता है। यह कंपनी के दस्तावेज़ों जैसी बनाई गई एक अलग टेस्ट का एक सवाल है, और जवाब वही है जो Lynx ने असल में दिया।
सवालहरितपुर नगर निगम स्विमिंग पूल किस दिन बंद रहता है?
मिला हुआ आधार
Lynx का जवाब
※ सारा पाठ काल्पनिक है (टेस्ट के लिए बनाया गया)।
सिर्फ़ CPU पर,
क़रीब 7 सेकंड।
लैपटॉप के CPU (बिना GPU) पर क़रीब 2,500 टोकन का दस्तावेज़ पढ़कर जवाब देने तक का पूरा क्रम चैट स्क्रीन पर चलता है। प्लेबैक 3 गुना तेज़ है, घड़ी असली सेकंड दिखाती है।
Lynxइसी PC के CPU पर चल रहा है
हरितपुर नगर निगम स्विमिंग पूल किस दिन बंद रहता है?संलग्न: 16 दस्तावेज़ (क़रीब 2,500 टोकन)
0.0सेकंड3 गुना तेज़ प्लेबैक
दस्तावेज़ पढ़नाजवाब लिखना
- पढ़ना
- 388 टोकन/सेकंड
- जवाब लिखना
- 41 टोकन/सेकंड
- मशीन
- Core i7-11800H, 8 थ्रेड
※ हमारी अपनी माप (Q4_K_M, llama.cpp)। पढ़ने की रफ़्तार 2,048 टोकन पर और लिखने की रफ़्तार 4,000 टोकन पढ़ने के बाद की है। मशीन और दस्तावेज़ की लंबाई के साथ बदलती है।
इस्तेमाल के लिए
बस एक प्रॉम्प्ट।
ट्रेनिंग वाले प्रॉम्प्ट में ही दस्तावेज़ और सवाल डालकर भेज दीजिए। सिस्टम प्रॉम्प्ट की ज़रूरत नहीं।
मिलने वाला जवाब
- थिंकिंग मोड बंद रखें (
enable_thinking: false)। मॉडल बिना थिंकिंग के ट्रेन हुआ है। temperature 0पर जवाब हर बार वही रहता है।- जवाब सवाल के शब्दों को दोहराता एक वाक्य होता है। औसत लंबाई 13 से 26 टोकन।
{"messages": [{"role": "user",
"content": "(ऊपर का प्रॉम्प्ट)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}डाउनलोड कीजिए,
तुरंत चलाइए।
2
llama.cpp से चलाएँ
Qwen3.5 को सपोर्ट करने वाला वर्ज़न (b11829 पर जाँचा गया)।
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
प्रॉम्प्ट भेजें
OpenAI-संगत /v1/chat/completions पर ऊपर के रूप में भेजें।
किन कामों के लिए सही
- कंपनी के नियमों, मैनुअल और FAQ से जवाब देना, स्रोत के अनुच्छेद के साथ
- ऐसी जगह दस्तावेज़ खोजना जहाँ से डेटा बाहर नहीं जा सकता
- जहाँ कई भाषाओं के दस्तावेज़ मिले-जुले हों
किन कामों के लिए दूसरे मॉडल बेहतर
- लंबे सारांश (जवाब एक वाक्य का होता है)
- JSON में जानकारी निकालना
- ऐसे सामान्य ज्ञान के सवाल जो दस्तावेज़ में नहीं हैं
दस्तावेज़ चुनिए,
आज़माकर देखिए।
सर्वर पर चल रहे Lynx 0.8B को आप तैयार दस्तावेज़ और सवाल भेज सकते हैं। एक दस्तावेज़ और एक सवाल चुनकर “चलाएँ” दबाइए। कुछ सवाल ऐसे भी हैं जिनका जवाब दस्तावेज़ में नहीं है।
लाइव: असली मॉडल अभी, केवल इस सर्वर के CPU पर उत्तर दे रहा है
1दस्तावेज़ चुनें
2सवाल चुनें
3Lynx का जवाब
Lynx 0.8Bसर्वर पर चल रहा है
जवाब यहाँ दिखेगा।
माप का तरीक़ा
और संपर्क।
- सवाल: 20 भाषाओं की Wikipedia के अनुच्छेदों से Qwen3-32B ने सवाल और जवाब बनाए। gpt-oss-120b ने सवाल, जवाब और दस्तावेज़ जाँचे; अनुपयुक्त हटाने के बाद 13,061 सवाल बचे।
- चार पैमाने: जवाब वाला अनुच्छेद (80 से 400 टोकन) / वही अनुच्छेद दूसरे लेखों के बीच मिलाकर बना लंबा दस्तावेज़ (क़रीब 1,500 से 3,500 टोकन) / बिना जवाब वाला अनुच्छेद (उसी लेख का दूसरा अनुच्छेद या कोई दूसरा लेख) / लंबा दस्तावेज़ जिसमें से जवाब वाला अनुच्छेद निकाल दिया गया।
- मॉडल: Lynx 0.8B (Q4_K_M, llama.cpp) और gpt-oss-120b (vLLM, reasoning effort medium)। प्रॉम्प्ट बिल्कुल एक जैसा है।
- जाँच: Qwen3-32B और gpt-oss-120b, दोनों मॉडलों से जवाब सही है या नहीं, यह तय करवाया (दोनों के नतीजों का अंतर 0.4 अंक के भीतर)।
- “लंबे दस्तावेज़” का उदाहरण कंपनी के नियमों और सूचनाओं जैसी बनाई गई एक अलग टेस्ट का एक सवाल है।
- समय: नवंबर 2026। होम पेज के बाक़ी आँकड़ों की तरह, औपचारिक रिलीज़ से पहले इन्हें दोबारा जाँचा जाएगा।