10개 언어를
서로 번역한다.
Serval은 번역만 하는 소형 LLM입니다. 10개 언어 중 어느 언어에서 어느 언어로든, 90가지 방향으로 번역할 수 있습니다. 파일은 하나(약 1.1GB)이며, 인터넷에 연결하지 않고 가지고 있는 기기에서 돌아갑니다. 오른쪽 번역은 실제로 CPU에서 번역했을 때의 기록을 같은 속도로 재생한 것입니다.
DEDeutsch
JA日本語
※ 원문은 예시용으로 쓴 가상의 문장입니다. 번역문은 Serval의 출력 그대로이며 손대지 않았습니다(표현이 딱딱한 부분도 그대로 실었습니다). 표시된 초는 CPU로 번역했을 때의 기록입니다.
65분의 1 크기로,
차이는 1.2점.
gpt-oss-120b(1,170억 파라미터)와 같은 문장을 번역해 같은 지표로 채점했습니다. 점수는 COMET(사람이 번역한 정답에 얼마나 가까운지를 0~100으로 나타내는 지표)입니다. 노란색이 Serval, 흰색이 gpt-oss-120b입니다.
※ 자체 실측(2026년 11월, Serval은 Q4_K_M, gpt-oss-120b는 reasoning effort medium). Serval이 앞섰다는 것이 아니라, 작은 크기 그대로 비슷한 점수를 낼 수 있다는 결과입니다. 자세한 조건은 페이지 맨 아래에 있습니다.
90개 방향,
하나하나의 점수.
세로가 원문 언어, 가로가 번역할 언어입니다. 색이 진할수록 점수가 높습니다. 칸을 고르면 그 방향의 Serval과 gpt-oss-120b 점수를 나란히 표시합니다.
↓ 원문 언어번역할 언어 →
JA → EN
- Serval
- –
- gpt-oss-120b
- –
- 차이
- –
※ FLORES-200 devtest에서 방향당 100문장. 점수는 COMET(wmt22-comet-da)에 100을 곱한 값입니다.
크로아티아어는
나중에 가르쳤다.
Serval의 바탕이 된 모델(Hy-MT2-1.8B)은 크로아티아어를 지원하지 않습니다. 번역을 시키면 이웃 언어의 단어나 키릴 문자가 섞였습니다. 그래서 약 32만 쌍의 대역 문장을 준비해 추가 학습하고, 다른 9개 언어의 실력을 떨어뜨리지 않으면서 크로아티아어를 더했습니다. 아래는 같은 문장을 학습 전과 후에 번역한 결과입니다.
JA
학습 전(원래 모델)
학습 후(Serval)
※ 노란색은 키릴 문자가 섞인 단어입니다. 학습 전은 원래 모델의 Q4_K_M, 학습 후는 Serval의 Q4_K_M이며, 둘 다 이번에 새로 측정했습니다. 원문은 FLORES-200(CC BY-SA 4.0)의 문장입니다.
CPU만으로,
한 문장 1~2초.
왼쪽은 GPU가 없는 기기에서 Serval이 한 문장을 번역하는 모습입니다. 오른쪽 두 개는 참고용으로, 96GB GPU를 탑재한 서버에 Serval과 gpt-oss-120b를 각각 올린 경우입니다. 모두 실제 기록을 같은 초 수로 재생하며, 빨리 감기는 하지 않았습니다.
CPU만
ServalGPU 없음·8스레드
0.0초
참고: GPU 서버
Serval같은 서버의 GPU에 올린 경우
0.0초
참고: GPU 서버
gpt-oss-120b96GB GPU가 필요합니다
0.0초
※ 자체 실측(2026년 11월). 한 건씩 차례로 보냈을 때, 보낸 뒤 번역이 다 나올 때까지의 시간입니다. 원문은 FLORES-200(CC BY-SA 4.0)의 문장입니다.
프롬프트는
하나뿐.
번역할 언어의 이름과 원문을 넣기만 하면 됩니다. 고유명사의 번역을 정해 두고 싶을 때는 앞에 대응표를 덧붙입니다. 가중치는 파일 하나이며, llama.cpp에서 그대로 돌아갑니다.
프롬프트
Translate the following text into Japanese. Note that you should only output the translated result without any additional explanation:
{원문}이름의 번역을 정해 두기(용어집)
Reference the following translations: 伏見稲荷大社 translates to Fushimi Inari-taisha Translate the following text into English. Note that … {원문}
실행(llama.cpp)
llama-server -m serval-Q4_K_M.gguf \ -c 4096 -t 8 --jinja --port 8091
공개 중가중치 다운로드 →
- system 프롬프트는 붙이지 않습니다. user에 위의 프롬프트 하나만 넣습니다.
- 설정은 temperature 0, repetition_penalty 1.05입니다.
- 중국어가 들어가는 방향에서는 프롬프트도 중국어로 씁니다(将以下文本翻译为…).
- 원래 모델 Hy-MT2-1.8B는 Apache-2.0입니다. Serval 모델은 변경 사항을 명시해 CatsAI Model License로 배포합니다. 임시
- 스마트폰(Android·iOS)에서도 llama.cpp로 돌릴 수 있는 크기입니다. 실제 기기에서의 속도 측정은 앞으로 진행합니다. 예정
일본 여행에
맞춘 버전도.
Serval을 바탕으로, 일본의 관광지·역·음식 등 약 1만 1천 건의 이름이 들어간 여행 문장으로 추가 학습한 버전입니다. 어려운 지명의 읽는 법을 덜 틀리게 됩니다. 여기에 앱 쪽에서 이름 대응표(용어집)를 붙이면, 이름은 거의 정해 둔 대로 번역됩니다. 같은 방식으로 귀사의 분야에 맞춘 버전도 만들 수 있습니다.
지명·시설명을 올바르게 번역한 비율
- 테스트에 쓴 지명은 학습에 넣지 않았습니다. 일반 문장의 점수는 Serval보다 0.2~0.4점 내려갑니다.
※ 자체 제작한 여행 문장 2,160건(일본어와 9개 언어 사이, 18개 방향)에서의 실측. 이름 목록은 Wikidata(CC0)로 만들었습니다. 예시 원문은 테스트용으로 만든 문장이며, 안내 내용이 사실과 다를 수 있습니다.
한 문장을
9개 언어로.
문장을 고르면 다른 9개 언어로 하나씩 번역합니다. 번역할 언어를 하나만 고를 수도 있습니다. 시계는 번역에 걸린 실제 초 수입니다.
실시간: 실제 모델이 이 서버의 CPU만으로 지금 번역하고 있습니다
1문장 고르기원문 언어
JA
2번역할 언어
문장을 고쳐 써서 원하는 문장을 번역할 수 있습니다.
모델에 보내는 프롬프트
0.0초
측정 방법과
상담.
- 문장: FLORES-200 devtest(사람이 번역한 정답 포함, CC BY-SA 4.0)에서 10개 언어의 90개 방향 × 100문장 = 9,000문장. 아울러 WMT24++의 영어에서 9개 언어로, 1,800단락.
- 지표: COMET(wmt22-comet-da)에 100을 곱한 값. 번역문이 사람의 번역에 얼마나 가까운지를 원문도 함께 보고 채점하는 지표입니다.
- 여행판: 학습에 쓰지 않은 장소의 문장 2,160건. 정답 번역은 gpt-oss-120b가 이름 대응표를 보면서 만든 것입니다. 그래서 이 문장들에 대한 gpt-oss-120b의 점수는 참고용으로 실었습니다.
- 실시: 2026년 11월, Vast.ai의 RTX PRO 6000(96GB) 1대. 정식 공개 전에 다시 검토합니다.