작지만,
제대로 읽는다.
Lynx는 넘겨받은 문서만을 근거로 질문에 한 문장으로 답하는 RAG 전용 소형 LLM입니다. Qwen3.5의 0.8B를 20개 언어의 문서 검색 질의응답에 맞춰 추가 학습했습니다. GPU 없이 평범한 CPU로 돌아갑니다.
- 파라미터
- 0.8B
- 파일(Q4_K_M)
- 0.67GB
- 지원 언어
- 20개 언어
- 구동 장비
- CPU만으로 가능
공개 중가중치를 다운로드해 써 볼 수 있습니다 공개처·라이선스는 임시
146분의 1로,
93.8점.
20개 언어·13,061문항의 테스트로 gpt-oss-120b(1,170억 파라미터)와 비교했습니다. 네 가지 지표의 평균은 Lynx 0.8B가 93.8, gpt-oss-120b가 97.5입니다. 답이 없는 짧은 문서에 ‘없다’고 말할 수 있는지는 98.0으로, 120B와 거의 같습니다.
짧은 문서에서 답하기3,751문항
긴 문서(약 2,500토큰)에서 찾기3,697문항
답이 없는 짧은 문서에 ‘없다’고 말하기3,650문항
답이 없는 긴 문서에 ‘없다’고 말하기1,963문항
답이 적혀 있는데도 ‘답이 없다’며 거절한 것은 7,448문항 중 25문항뿐이었습니다(gpt-oss-120b는 32문항).
※ 자체 테스트에서의 실측(2026년 11월, Q4_K_M). 채점은 Qwen3-32B(gpt-oss-120b의 채점과 차이는 0.4포인트 이내). 자세한 조건은 페이지 맨 아래에 있습니다.
20개 언어에서,
똑같이.
프롬프트도 답도 그 언어 그대로 동작합니다. 문제도 각 언어의 Wikipedia에서 만들었습니다(번역하지 않았습니다). 아래까지 스크롤하면 타일이 뒤집혀 언어별 점수가 나옵니다(타일을 눌러도 뒤집힙니다).
※ 숫자는 네 가지 지표의 평균(점). 언어별 약 650문항(힌디어만 약 480문항).
2,500토큰 속에서
한 문장을 찾는다.
16건의 문서 속에 섞인 1건에서 답이 되는 한 문장을 찾아냅니다. 스크롤에 맞춰 Lynx가 문서를 읽어 나갑니다. 사내 문서풍으로 만든 다른 테스트의 한 문항과, Lynx가 실제로 돌려준 답입니다.
질문푸른들 시민 수영장의 휴관일은 무슨 요일인가요?
찾아낸 근거
Lynx의 답
※ 글은 모두 가상입니다(테스트용으로 만든 것).
CPU만으로,
약 7초.
노트북 CPU(GPU 없음)로 약 2,500토큰의 문서를 읽고 답하기까지를 채팅 화면으로 재생합니다. 재생은 3배속, 시계는 실제 초 수입니다.
Lynx이 PC의 CPU로 동작 중
푸른들 시민 수영장의 휴관일은 무슨 요일인가요?첨부: 문서 16건(약 2,500토큰)
0.0초3배속 재생
문서 읽기답 쓰기
- 읽기
- 388 토큰/초
- 답 쓰기
- 41 토큰/초
- 장비
- Core i7-11800H·8스레드
※ 사내 측정(Q4_K_M, llama.cpp). 읽기는 2,048토큰일 때, 쓰기는 4,000토큰을 읽은 뒤의 값입니다. 장비나 문서 길이에 따라 달라집니다.
사용법은
프롬프트 하나.
학습할 때와 같은 프롬프트에 문서와 질문을 넣어 보내기만 하면 됩니다. 시스템 프롬프트는 필요 없습니다.
돌아오는 답
- 사고 모드는 끕니다(
enable_thinking: false). 사고 없이 학습했습니다. temperature 0으로 하면 언제나 같은 답이 나옵니다.- 답은 질문의 표현을 따라 쓴 한 문장입니다. 길이는 평균 13~26토큰입니다.
{"messages": [{"role": "user",
"content": "(위의 프롬프트)"}],
"temperature": 0, "max_tokens": 300,
"chat_template_kwargs": {"enable_thinking": false}}다운로드해서
바로 돌린다.
2
llama.cpp로 실행
Qwen3.5를 지원하는 버전(b11829에서 확인).
llama-server -m lynx-0.8b-Q4_K_M.gguf \ -c 8192 --jinja -t 8 --port 8090
3
프롬프트 보내기
OpenAI 호환 /v1/chat/completions에 위 형식으로 보냅니다.
잘 맞는 용도
- 사내 규정·매뉴얼·FAQ에서 출처 단락과 함께 답을 제시
- 데이터를 밖으로 내보낼 수 없는 환경에서의 문서 검색
- 여러 언어의 문서가 섞이는 현장
다른 모델이 더 맞는 일
- 긴 요약(답은 한 문장으로 나옵니다)
- JSON으로의 정보 추출
- 문서에 없는 일반 지식을 묻는 질문
문서를 골라
시험해 본다.
서버에서 돌아가는 Lynx 0.8B에 준비된 문서와 질문을 보낼 수 있습니다. 문서 하나, 질문 하나를 고르고 ‘실행’을 눌러 주세요. 문서에 답이 없는 질문도 섞어 두었습니다.
실시간: 실제 모델이 이 서버의 CPU만으로 지금 답하고 있습니다
1문서 고르기
2질문 고르기
3Lynx의 답
Lynx 0.8B서버에서 동작 중
여기에 답이 표시됩니다.
측정 방법과
상담.
- 문제: 20개 언어 각각의 Wikipedia 단락에서 Qwen3-32B가 질문과 답을 만들었습니다. gpt-oss-120b가 질문·답·문서를 점검해 부적절한 것을 제외한 13,061문항입니다.
- 네 가지 지표: 답이 있는 단락(80~400토큰) / 그 단락을 다른 문서들에 섞은 긴 문서(약 1,500~3,500토큰) / 답이 없는 단락(같은 문서의 다른 단락이거나 다른 문서) / 답이 있는 단락을 뺀 긴 문서.
- 모델: Lynx 0.8B(Q4_K_M, llama.cpp)와 gpt-oss-120b(vLLM, reasoning effort medium). 프롬프트는 완전히 같습니다.
- 채점: Qwen3-32B와 gpt-oss-120b 두 모델에 정답 여부를 판정하게 했습니다(두 결과의 차이는 0.4포인트 이내).
- ‘긴 문서’의 예는 사내 규정·공지 등을 본떠 만든 다른 테스트의 한 문항입니다.
- 실시: 2026년 11월. 메인 페이지의 다른 수치와 마찬가지로, 정식 공개 전에 다시 검토합니다.