10 языков —
в любую сторону.
Serval — компактная LLM, которая занимается только переводом. Она переводит с любого из 10 языков на любой другой — всего 90 направлений. Файл один (около 1,1 GB), работает на вашем оборудовании без интернета. Перевод справа — запись настоящего перевода на CPU, она проигрывается с той же скоростью.
DEDeutsch
JA日本語
* Исходные фразы вымышлены и написаны для примера. Переводы — вывод Serval как есть, без правки (шероховатости мы тоже оставили). Показанные секунды — запись запуска на CPU.
В 65 раз меньше —
а разница 1,2 балла.
Мы перевели одни и те же фразы моделями Serval и gpt-oss-120b (117 млрд параметров) и оценили по одной мерке. Балл — COMET: показатель от 0 до 100, который отражает близость к эталонному переводу, сделанному человеком. Жёлтый — Serval, белый — gpt-oss-120b.
* Наши собственные замеры (ноябрь 2026 г.; Serval — Q4_K_M, gpt-oss-120b — reasoning effort medium). Serval не обошла большую модель: результат в том, что маленькая модель набирает близкий балл. Подробные условия — в конце страницы.
90 направлений —
балл по каждому.
По вертикали — язык оригинала, по горизонтали — язык перевода. Чем темнее клетка, тем выше балл. Выберите клетку — и увидите рядом баллы Serval и gpt-oss-120b в этом направлении.
↓ Язык оригиналаЯзык перевода →
JA → EN
- Serval
- –
- gpt-oss-120b
- –
- Разница
- –
* По 100 фраз на направление из FLORES-200 devtest. Балл — COMET (wmt22-comet-da), умноженный на 100.
Хорватскому
научили позже.
Модель, на которой основана Serval (Hy-MT2-1.8B), не поддерживает хорватский. При переводе она подмешивала слова соседних языков и кириллицу. Мы подготовили около 320 тысяч пар переводов и дообучили модель: хорватский добавился, а остальные 9 языков не ухудшились. Ниже — перевод одной и той же фразы до и после дообучения.
JA
До дообучения (исходная модель)
После дообучения (Serval)
* Жёлтым отмечены слова с примесью кириллицы. «До» — исходная модель в Q4_K_M, «после» — Serval в Q4_K_M; обе мы измерили заново. Исходные фразы взяты из FLORES-200 (CC BY-SA 4.0).
Только CPU —
1–2 секунды на фразу.
Слева Serval переводит фразу на машине без GPU. Два окна справа — для сравнения: Serval и gpt-oss-120b на сервере с GPU на 96 GB. Всё это настоящие записи, они проигрываются с той же скоростью, без ускорения.
Только CPU
Serval без GPU, 8 потоков
0.0с
Для сравнения: GPU-сервер
Serval на GPU того же сервера
0.0с
Для сравнения: GPU-сервер
gpt-oss-120b нужен GPU на 96 GB
0.0с
* Наши собственные замеры (ноябрь 2026 г.). Время от отправки до готового перевода, когда запросы идут по одному. Исходные фразы взяты из FLORES-200 (CC BY-SA 4.0).
Промпт —
всего один.
Достаточно подставить название языка перевода и исходный текст. Если нужно закрепить перевод имён и названий, добавьте перед промптом таблицу соответствий. Веса — один файл, который сразу запускается в llama.cpp.
Промпт
Translate the following text into Japanese. Note that you should only output the translated result without any additional explanation:
{исходный текст}Закрепить перевод названий (глоссарий)
Reference the following translations: 伏見稲荷大社 translates to Fushimi Inari-taisha Translate the following text into English. Note that … {исходный текст}
Запуск (llama.cpp)
llama-server -m serval-Q4_K_M.gguf \ -c 4096 -t 8 --jinja --port 8091
ДоступнаСкачать веса →
- Системный промпт не нужен. В сообщение user помещается только один промпт — тот, что выше.
- Настройки: temperature 0, repetition_penalty 1.05.
- Если в паре есть китайский, промпт тоже пишется по-китайски (将以下文本翻译为…).
- Исходная модель Hy-MT2-1.8B распространяется по лицензии Apache-2.0. Модель Serval распространяется по лицензии CatsAI Model License, с перечнем изменений. предв.
- Модель достаточно мала, чтобы работать в llama.cpp и на смартфоне (Android, iOS). Скорость на настоящих устройствах измерим позже. в планах
Есть и версия
для поездок по Японии.
Эту версию мы дообучили на основе Serval на туристических текстах, в которых около 11 тысяч названий: японские достопримечательности, станции, блюда. Она реже ошибается в чтении трудных топонимов. А если приложение добавит таблицу соответствий (глоссарий), названия переводятся почти всегда так, как задано. Тем же способом можно сделать версию для вашей области.
Доля верно переведённых топонимов и названий
- Топонимы из теста в обучении не использовались. На обычных текстах балл на 0,2–0,4 ниже, чем у Serval.
* Замеры на 2 160 туристических фразах нашего составления (между японским и 9 языками, 18 направлений). Список названий составлен по Wikidata (CC0). Фразы в примерах написаны для теста; сведения в них могут не соответствовать действительности.
Одна фраза —
на 9 языков.
Выберите фразу — и модель по очереди переведёт её на остальные 9 языков. Можно выбрать и один язык перевода. Секундомер показывает настоящее время перевода.
Вживую: настоящая модель переводит прямо сейчас, только на CPU этого сервера
1 Выберите фразу язык оригинала
JA
2 Язык перевода
Измените текст и переведите любую свою фразу.
Промпт, который уходит модели
0.0с
Как измеряли
и как связаться.
- Тексты: FLORES-200 devtest (с эталонными переводами, сделанными людьми; CC BY-SA 4.0) — 10 языков, 90 направлений × 100 фраз = 9 000 фраз. Дополнительно — WMT24++: с английского на 9 языков, 1 800 абзацев.
- Мерка: COMET (wmt22-comet-da), умноженный на 100. Этот показатель оценивает, насколько перевод близок к человеческому, с учётом исходного текста.
- Версия для поездок: 2 160 фраз о местах, которых не было в обучении. Эталонные переводы составила gpt-oss-120b, сверяясь с таблицей названий. Поэтому балл gpt-oss-120b на этих фразах приводим только для справки.
- Дата: ноябрь 2026 г., один RTX PRO 6000 (96 GB) на Vast.ai. Перед официальным выпуском данные пересмотрим.