Csak a személyes adat
lesz fekete.
A Noir maszkolásra készült kis LLM: megkapja a dokumentumot és azt, hogy mit kell kitakarni, és listában adja vissza a találatokat. A kiadás előtt álló dokumentumok házon belül, pusztán CPU-n feldolgozhatók. Görgetéskor fénycsík halad át a dokumentumon.
JA担当の山田太郎です。お電話は03-0000-1234までお願いします。
ENPlease call Emily Carter at (555) 010-4477 before March 3.
DEFrau Anna Becker wohnt in der Lindenstraße 12, 10115 Berlin.
HRIvan Horvat (42 godine) javio je da je na bolovanju.
* A példaszöveg, a nevek és a számok mind kitaláltak. A fenti animáció lejátszott minta.
Mondja el
a saját szavaival.
„Személyes adatok”, „elérhetőségek”, „de az életkor maradjon”. Ha úgy adja meg, ahogy egyébként is mondaná, ugyanabban a dokumentumban más-más helyek lesznek kitakarva. Nyomja meg valamelyik gombot, vagy csak figyelje.
Tárgy: Példa Kft. – a szerződés adatainak egyeztetése
Példa Kft., Üzemeltetési osztály, Kovács János részére
Üdvözlöm! Nagy Anna vagyok a Cicaadat Kft.-től.
November 20-án (pénteken) szeretnék egyeztetni a szerződés meghosszabbításáról. A havidíj változatlanul 48 000 Ft.
Úgy tudom, az ügyintéző, Szabó Iván (42 éves) ma derékfájás miatt nem dolgozik.
Elérhetőségem: 06 1 000 1234 vagy [email protected].
Postacím: 1000 Mintaváros, Példa utca 1., 5. emelet
* Ez a mező a működést szemlélteti: előre elkészített eredményt játszik le (valódi modell nem fut). A példaszövegek mind kitaláltak.
A 120B-nél
kevesebb túltakarás.
100-100 japán és angol dokumentumon vetettük össze a gpt-oss-120b-vel (117 milliárd paraméter), ugyanazzal az utasítással. A fenti lapok egy-egy hibatípust szemléltetnek. Az alsó sávok azt mutatják, milyen arányban fordult elő a hiba: minél rövidebb, annál jobb.
* Saját tesztünkön mért értékek (2026. november, Q4_K_M; az e-mail-címekre, telefonszámokra, URL-ekre és dátumokra általános szabályokat is használtunk). A részletes feltételek az oldal végén.
Minél homályosabb az utasítás,
annál nagyobb a különbség.
Mérlegen vetjük össze, melyik hagy ki többet. Amelyiknél több a kimaradás, az a serpenyő süllyed le. Ha a típusokat pontosan felsoroljuk, döntetlen; a „személyes adatok”-féle homályos utasításnál vagy a „de … maradjon” kivételnél viszont nő a különbség.
Noir0%
gpt-oss-120b0%
* Japán és angol együtt. Kimaradási arány (%, 1 cella = 1%). Az utasítások megoszlása: típusfelsorolás 69, homályos utasítás 104, kivétellel 27 dokumentum.
4 nyelv,
nyelvenkénti eredmények.
Minden nyelvhez külön Noir tartozik (a japán és az angol közös). Sárgával jelöltük, ahol a szám jobb a gpt-oss-120b-énál.
- Horvátul és németül a kimaradás nagyjából annyi, mint a gpt-oss-120b-nél. A kimaradt elemek többsége európai formátumú dátum és időpont volt, például „02.11.2026” vagy „14:12 Uhr”.
- Ha két szabállyal kiegészítjük az ilyen dátumok és időpontok felismerését, számításaink szerint a kimaradás horvátul 31→23%-ra, németül 25→15%-ra csökken, vagyis a gpt-oss-120b (24%, 19%) alá. Ezt tervezzük beépíteni a termékbe. tervezett
Amit visszakap:
JSON.
A találatokat listában adja vissza, az azonosakat összevonva. A karakterláncok pontosan úgy szerepelnek, ahogy a dokumentumban, így közvetlenül megkereshetők és kicserélhetők a szövegben.
Szabó úr telefonszáma 06 1 000 1234,
e-mail-címe [email protected].
- id: ugyanaz a személy vagy dolog egy tételbe kerül („Szabó Iván” és „Szabó”).
- type: a 48 címke egyikének neve. Az utasítás nyelvén érkezik (itt: „Személynév”).
- mentions: a karakterláncok pontosan úgy, ahogy a dokumentumban szerepelnek. Ha nincs találat:
[].
Keresd meg az alábbi dokumentumban
mindazt, ami megfelel a célnak. … (rövidítve)
A kimenet csak egy JSON-tömb legyen: [{"id": "E1",
"type": "...", "mentions": ["..."]}]
Cél:
Személyes adatok, kivéve az életkort
Mód: maszkolás (replacements nélkül)
Dokumentum:
(ide jön a dokumentum)Egy dokumentum
kb. 20 mp alatt.
Lejátsszuk, ahogy a modell egy laptop CPU-ján (GPU nélkül) elolvas egy kb. 900 karakteres dokumentumot, és visszaadja a kitakarandó helyeket. A lejátszás 5-szörös sebességű, az óra a valódi másodperceket mutatja.
0.0mp5× sebességgel
Dokumentum olvasásaTalálatok kiírása
Kitakart helyek: 0 / 0
- Utasítás
- személynév, telefonszám, e-mail-cím, cím
- Beolvasás
- kb. 140 token/mp
- Kiírás
- kb. 24 token/mp
- Gép
- Core i7-11800H, 8 szál
- Ezzel a sebességgel, sorban feldolgozva egy gép óránként kb. 170 000 karakterrel végez.
- GPU-n, 16 dokumentumot párhuzamosan feldolgozva 100 dokumentum kb. 20 mp alatt készült el (a gpt-oss-120b-vel kb. 90 mp). saját mérés
* A dokumentum és a kitakart helyek minták (ezen az oldalon nem fut modell). Az időt a házon belül mért beolvasási és kiírási sebességből számoltuk. Az ugyanarra a személyre utaló megnevezéseket összevonjuk, és egyszerre takarjuk ki.
1000 karakterenként,
darabolva adjuk át.
A hosszú dokumentumot kb. 1000 karakteres darabokra vágjuk, és egyenként adjuk át. Ha a hossz a tanításkor látotthoz igazodik, kevesebb marad ki. Az eredményeket a végén összesítjük, és kiegészítjük az e-mail-címek, telefonszámok, URL-ek és dátumok kötött formáit felismerő szabályokkal.
Indítás (llama.cpp)
llama-server -m noir-ja-en-Q4_K_M.gguf \ -c 16384 -t 8 -np 1 --jinja --port 8191
NyilvánosSúlyok letöltése →
- A gondolkodó módot kapcsolja ki (
enable_thinking: false), éstemperature 0beállítással használja. - A modellt nyelv szerint kell kiválasztani: japánhoz és angolhoz ja-en, némethez de-en, horváthoz hr-en.
- CPU-n (Core i7-11800H, 8 szál) egy 1000 karakteres darab kb. 20 mp. saját mérés
Ugyanaz a dokumentum,
más utasítás, más takarás.
A mintadokumentumokon kiválasztott utasításokkal kipróbálhatja. Ha más utasítást ad, ugyanabban a dokumentumban más helyek lesznek kitakarva. A modellnek küldött promptot és a visszakapott JSON-t is megnézheti.
1Válasszon dokumentumot
2Válasszon utasítástkiválasztáskor azonnal lefut
Vagy válassza ki a típusokat
A modellnek küldött prompt
A visszakapott JSON
[]
A mérés módja
és a konzultáció.
- Dokumentumok: 100-100 japán, angol, német és horvát nyelvű. E-mailek, jegyzőkönyvek, HR-feljegyzések, számlák, egészségügyi adatok és hasonlók: tesztre készült, kitalált dokumentumok, amelyekben megjelöltük a kitakarandó helyeket.
- Utasítások: dokumentumonként a három közül egy: típusfelsorolás, homályos megfogalmazás vagy kivétellel adott utasítás. A gpt-oss-120b (reasoning effort medium) ugyanazt a promptot kapta.
- Mérőszámok: kimaradás = a kitakarandó helyek közül olvasható maradt arány; túltakarás = a kitakart helyek közül a fölöslegesek aránya; típushiba = az utasításban nem szereplő típusok kitakarásának aránya.
- Időpont: 2026. november, Q4_K_M. A hivatalos megjelenés előtt felülvizsgáljuk.