10 talen,
onderling vertaald.
Serval is een klein LLM dat alleen vertaalt. Het vertaalt van elk van de 10 talen naar elke andere: 90 richtingen. Het is één bestand (circa 1,1 GB) en draait op uw eigen hardware, zonder internet. De vertaling rechts is een opname van een echte vertaling op een CPU, afgespeeld op dezelfde snelheid.
DEDeutsch
JA日本語
* De bronteksten zijn verzonnen zinnen, geschreven als voorbeeld. De vertalingen zijn de onbewerkte uitvoer van Serval (ook stroeve formuleringen hebben we laten staan). De getoonde seconden zijn een opname van een run op een CPU.
1/65 van de grootte,
verschil: 1,2 punt.
We lieten Serval dezelfde zinnen vertalen als gpt-oss-120b (117 miljard parameters) en beoordeelden ze met dezelfde maatstaf. De punten zijn COMET-scores (een maat van 0 tot 100 voor hoe dicht een vertaling bij die van een menselijke vertaler ligt). Geel is Serval, wit is gpt-oss-120b.
* Eigen meting (november 2026; Serval in Q4_K_M, gpt-oss-120b met reasoning effort medium). Serval scoort niet hoger; de uitkomst is dat het klein blijft en toch dichtbij komt. De precieze voorwaarden staan onderaan de pagina.
90 richtingen,
elk met een eigen score.
Verticaal staat de brontaal, horizontaal de doeltaal. Hoe donkerder de kleur, hoe hoger de score. Kiest u een vakje, dan ziet u voor die richting de scores van Serval en gpt-oss-120b naast elkaar.
↓ BrontaalDoeltaal →
JA → EN
- Serval
- –
- gpt-oss-120b
- –
- Verschil
- –
* 100 zinnen per richting uit FLORES-200 devtest. De score is COMET (wmt22-comet-da) maal 100.
Kroatisch hebben we
er later bij geleerd.
Het model waarop Serval is gebaseerd (Hy-MT2-1.8B) ondersteunt geen Kroatisch. Lieten we het toch vertalen, dan slopen er woorden uit buurtalen en cyrillische letters in. Daarom hebben we ongeveer 320.000 zinsparen verzameld en het model gefinetuned: Kroatisch erbij, zonder dat de andere 9 talen erop achteruitgingen. Hieronder ziet u dezelfde zin, vertaald vóór en na de training.
JA
Vóór de training (basismodel)
Na de training (Serval)
* Geel zijn woorden waarin cyrillische letters zitten. ‘Vóór’ is het basismodel in Q4_K_M, ‘na’ is Serval in Q4_K_M; beide zijn voor deze pagina opnieuw gemeten. De bronzinnen komen uit FLORES-200 (CC BY-SA 4.0).
Op alleen een CPU,
1–2 seconden per zin.
Links vertaalt Serval één zin op een machine zonder GPU. De twee rechts zijn ter vergelijking: Serval en gpt-oss-120b, elk op een server met een GPU van 96 GB. Alles is een echte opname, afgespeeld in dezelfde tijd, zonder te versnellen.
Alleen CPU
Servalzonder GPU · 8 threads
0.0s
Ter vergelijking: GPU-server
Servalop de GPU van dezelfde server
0.0s
Ter vergelijking: GPU-server
gpt-oss-120bheeft een GPU van 96 GB nodig
0.0s
* Eigen meting (november 2026). De tijd van versturen tot de vertaling compleet is, bij zinnen die een voor een zijn verstuurd. De bronzinnen komen uit FLORES-200 (CC BY-SA 4.0).
Maar één
instructie.
U vult alleen de naam van de doeltaal en de brontekst in. Wilt u de vertaling van eigennamen vastleggen, zet er dan een lijstje vóór. De gewichten zijn één bestand en draaien direct in llama.cpp.
Instructie
Translate the following text into Japanese. Note that you should only output the translated result without any additional explanation:
{uw tekst}Vertaling van namen vastleggen (woordenlijst)
Reference the following translations: 伏見稲荷大社 translates to Fushimi Inari-taisha Translate the following text into English. Note that … {uw tekst}
Starten (llama.cpp)
llama-server -m serval-Q4_K_M.gguf \ -c 4096 -t 8 --jinja --port 8091
BeschikbaarGewichten downloaden →
- Gebruik geen system-prompt. Zet alleen de instructie hierboven in user.
- Instellingen: temperature 0, repetition_penalty 1.05.
- Bij richtingen met Chinees schrijft u ook de instructie in het Chinees (将以下文本翻译为…).
- Het basismodel Hy-MT2-1.8B heeft de licentie Apache-2.0. Het Serval-model verspreiden we onder de CatsAI Model License, met vermelding van de wijzigingen. voorlopig
- Het model is klein genoeg om ook op een smartphone (Android, iOS) met llama.cpp te draaien. De snelheid op echte toestellen gaan we nog meten. gepland
Ook een versie afgestemd
op reizen in Japan.
Deze versie is Serval, verder gefinetuned op reisteksten met ongeveer 11.000 namen van Japanse bezienswaardigheden, stations, gerechten en meer. Daardoor gaat de lezing van lastige plaatsnamen minder vaak mis. Geeft de app er ook een lijst met namen (woordenlijst) bij, dan worden namen vrijwel altijd vertaald zoals vastgelegd. Op dezelfde manier maken we een versie voor uw vakgebied.
Aandeel juist vertaalde plaats- en locatienamen
- De plaatsnamen uit de test zaten niet in de trainingsdata. Op algemene tekst scoort deze versie 0,2 tot 0,4 punt lager dan Serval.
* Gemeten op 2.160 zelfgemaakte reisteksten (tussen Japans en 9 talen, 18 richtingen). De namenlijst komt uit Wikidata (CC0). De voorbeeldzinnen zijn voor de test geschreven; de informatie erin hoeft niet te kloppen.
Eén zin,
naar 9 talen.
Kies een zin, dan wordt die een voor een naar de andere 9 talen vertaald. U kunt ook één doeltaal kiezen. De klok toont de werkelijke seconden die het vertalen kostte.
Live: het echte model vertaalt nu, met alleen de CPU van deze server
1Kies een zinbrontaal
JA
2Doeltaal
Pas de zin aan en vertaal wat u wilt.
Instructie aan het model
0.0s
Meetmethode en
contact.
- Zinnen: uit FLORES-200 devtest (met menselijke referentievertalingen, CC BY-SA 4.0): 90 richtingen tussen 10 talen × 100 zinnen = 9.000 zinnen. Daarnaast uit WMT24++: van Engels naar 9 talen, 1.800 alinea's.
- Maatstaf: COMET (wmt22-comet-da) maal 100. Deze maat beoordeelt hoe dicht de vertaling bij de menselijke vertaling ligt en kijkt daarbij ook naar de brontekst.
- Reisversie: 2.160 teksten over plaatsen die niet in de trainingsdata zaten. De referentievertalingen zijn gemaakt door gpt-oss-120b, met de namenlijst erbij. Daarom staat de score van gpt-oss-120b op deze teksten er alleen ter indicatie bij.
- Uitgevoerd: november 2026, op één RTX PRO 6000 (96 GB) van Vast.ai. We herzien dit vóór de officiële publicatie.