Nhỏ mà
đọc đâu ra đấy.
Lynx là LLM nhỏ chuyên cho RAG: chỉ dựa trên tài liệu bạn đưa vào, nó trả lời câu hỏi bằng một câu. Chúng tôi huấn luyện thêm Qwen3.5 bản 0.8B cho việc hỏi đáp trên tài liệu tìm được, bằng 20 ngôn ngữ. Lynx chạy trên CPU thông thường, không cần GPU.
- Tham số
- 0.8B
- Tệp (Q4_K_M)
- 0.67GB
- Ngôn ngữ hỗ trợ
- 20ngôn ngữ
- Thiết bị chạy
- CPUlà đủ
Công khaiTải trọng số về là thử được Nơi công bố và giấy phép là tạm thời
Nhỏ bằng 1/146,
đạt 93.8 điểm.
Chúng tôi so sánh với gpt-oss-120b (117 tỷ tham số) trên bộ kiểm tra gồm 20 ngôn ngữ, 13.061 câu hỏi. Trung bình của 4 thước đo: Lynx 0.8B đạt 93.8, gpt-oss-120b đạt 97.5. Riêng khả năng nói “không có” với tài liệu ngắn không chứa câu trả lời, Lynx đạt 98.0, gần bằng 120B.
Trả lời từ tài liệu ngắn3.751 câu
Tìm trong tài liệu dài (khoảng 2.500 token)3.697 câu
Nói “không có” với tài liệu ngắn không chứa câu trả lời3.650 câu
Nói “không có” với tài liệu dài không chứa câu trả lời1.963 câu
Số lần câu trả lời có trong tài liệu mà Lynx vẫn từ chối là “không có”: chỉ 25 trên 7.448 câu (gpt-oss-120b: 32 câu).
* Số đo thực tế trên bộ kiểm tra của chúng tôi (tháng 11/2026, Q4_K_M). Chấm điểm bằng Qwen3-32B (chênh lệch so với khi chấm bằng gpt-oss-120b trong vòng 0.4 điểm). Điều kiện chi tiết ở cuối trang.
20 ngôn ngữ,
tốt như nhau.
Cả câu lệnh lẫn câu trả lời đều giữ nguyên ngôn ngữ đó. Câu hỏi kiểm tra cũng được soạn từ Wikipedia của từng ngôn ngữ (không qua dịch). Cuộn xuống cuối, các ô sẽ lật lại và hiện điểm của từng ngôn ngữ (bấm vào ô cũng lật được).
* Con số là trung bình của 4 thước đo (điểm). Mỗi ngôn ngữ khoảng 650 câu (riêng tiếng Hindi khoảng 480 câu).
Giữa 2.500 token,
tìm ra một câu.
Lynx tìm ra câu chứa đáp án trong một tài liệu bị trộn giữa 16 tài liệu không liên quan. Khi bạn cuộn trang, Lynx đọc dần các tài liệu. Đây là một câu hỏi trong một bộ kiểm tra khác, soạn theo kiểu tài liệu nội bộ, cùng câu trả lời Lynx đã thực sự đưa ra.
Câu hỏiBể bơi thành phố Thanh Diệp đóng cửa vào thứ mấy?
Căn cứ tìm được
Câu trả lời của Lynx
* Toàn bộ văn bản là hư cấu (soạn riêng để kiểm tra).
Chỉ với CPU,
khoảng 7 giây.
Phát lại trong khung chat toàn bộ quá trình: CPU của laptop (không GPU) đọc tài liệu khoảng 2.500 token rồi trả lời. Phát nhanh gấp 3, đồng hồ hiển thị số giây thực.
LynxĐang chạy trên CPU của máy này
Bể bơi thành phố Thanh Diệp đóng cửa vào thứ mấy?Đính kèm: 16 tài liệu (khoảng 2.500 token)
0.0giâyPhát nhanh gấp 3
Đọc tài liệuViết câu trả lời
- Đọc vào
- 388 token/giây
- Viết câu trả lời
- 41 token/giây
- Thiết bị
- Core i7-11800H, 8 luồng
* Số đo nội bộ (Q4_K_M, llama.cpp). Tốc độ đọc đo ở 2.048 token, tốc độ viết đo sau khi đã đọc 4.000 token. Kết quả thay đổi theo thiết bị và độ dài tài liệu.
Cách dùng:
chỉ một câu lệnh.
Bạn chỉ cần đặt tài liệu và câu hỏi vào đúng câu lệnh đã dùng khi huấn luyện rồi gửi đi. Không cần system prompt.
Câu trả lời nhận về
- Tắt chế độ suy nghĩ (
enable_thinking: false). Mô hình được huấn luyện không kèm suy nghĩ. - Với
temperature 0, câu trả lời lần nào cũng giống nhau. - Câu trả lời là một câu, bám theo lời của câu hỏi. Độ dài trung bình 13–26 token.
{"messages": [{"role": "user",
"content": "(câu lệnh ở trên)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}Tải về,
chạy ngay.
2
Khởi chạy bằng llama.cpp
Dùng bản hỗ trợ Qwen3.5 (đã kiểm tra với b11829).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
Gửi câu lệnh
Gửi theo dạng ở trên tới /v1/chat/completions tương thích OpenAI.
Việc Lynx làm tốt
- Trả lời từ quy định, sổ tay, FAQ nội bộ, kèm đoạn văn làm nguồn
- Tìm kiếm tài liệu ở nơi dữ liệu không được phép ra ngoài
- Nơi làm việc có tài liệu nhiều ngôn ngữ lẫn lộn
Việc hợp với mô hình khác hơn
- Tóm tắt dài (câu trả lời chỉ là một câu)
- Trích xuất thông tin ra JSON
- Câu hỏi kiến thức chung không có trong tài liệu
Chọn tài liệu
và thử ngay.
Bạn có thể gửi tài liệu và câu hỏi soạn sẵn tới Lynx 0.8B đang chạy trên máy chủ. Hãy chọn một tài liệu, một câu hỏi rồi bấm “Chạy”. Trong đó có cả những câu hỏi mà tài liệu không chứa câu trả lời.
Trực tiếp: mô hình thật đang trả lời ngay lúc này, chỉ bằng CPU của máy chủ này
1Chọn tài liệu
2Chọn câu hỏi
3Câu trả lời của Lynx
Lynx 0.8BĐang chạy trên máy chủ
Câu trả lời sẽ hiện ở đây.
Cách đo
và tư vấn.
- Câu hỏi: từ các đoạn văn Wikipedia của từng ngôn ngữ trong 20 ngôn ngữ, Qwen3-32B soạn câu hỏi và đáp án. gpt-oss-120b rà lại câu hỏi, đáp án và tài liệu, loại những câu không phù hợp, còn lại 13.061 câu.
- 4 thước đo: đoạn văn có đáp án (80–400 token) / tài liệu dài trộn đoạn đó với các bài khác (khoảng 1.500–3.500 token) / đoạn văn không có đáp án (đoạn khác của cùng bài, hoặc bài khác) / tài liệu dài đã rút bỏ đoạn có đáp án.
- Mô hình: Lynx 0.8B (Q4_K_M, llama.cpp) và gpt-oss-120b (vLLM, reasoning effort medium). Câu lệnh hoàn toàn giống nhau.
- Chấm điểm: hai mô hình Qwen3-32B và gpt-oss-120b cùng đánh giá đúng sai (kết quả của hai bên chênh nhau trong vòng 0.4 điểm).
- Ví dụ “tài liệu dài” là một câu hỏi trong một bộ kiểm tra khác, soạn phỏng theo quy định và thông báo nội bộ.
- Thực hiện: tháng 11/2026. Cũng như các số liệu khác trên trang chủ, chúng tôi sẽ rà soát lại trước khi công bố chính thức.