Chỉ thông tin cá nhân
bị bôi đen.
Noir là LLM nhỏ chuyên che thông tin: nhận một tài liệu cùng yêu cầu “cần che những gì”, rồi trả về danh sách những chỗ khớp. Tài liệu sắp gửi ra ngoài có thể được xử lý chỉ bằng CPU trong công ty. Khi bạn cuộn trang, một vệt sáng sẽ quét ngang tài liệu.
JA担当の山田太郎です。お電話は03-0000-1234までお願いします。
ENPlease call Emily Carter at (555) 010-4477 before March 3.
DEFrau Anna Becker wohnt in der Lindenstraße 12, 10115 Berlin.
HRIvan Horvat (42 godine) javio je da je na bolovanju.
* Các câu mẫu, họ tên và con số đều là hư cấu. Chuyển động ở trên là bản minh họa phát lại.
Yêu cầu
bằng lời nói thường ngày.
“Thông tin cá nhân”, “thông tin liên hệ”, “nhưng trừ tuổi ra”. Bạn yêu cầu bằng cách nói thường ngày, và cùng một tài liệu sẽ bị che ở những chỗ khác nhau. Hãy bấm nút, hoặc cứ ngồi xem.
Tiêu đề: Công ty Thương mại Mẫu – Xác nhận nội dung hợp đồng
Kính gửi anh Nguyễn Văn Hùng, Phòng Hành chính, Công ty Thương mại Mẫu
Cảm ơn anh đã luôn hợp tác. Tôi là Trần Thị Lan của Công ty Cổ phần Neko Data.
Tôi xin phép trao đổi về việc gia hạn hợp đồng vào thứ Sáu, ngày 20/11. Phí hằng tháng vẫn là 4.800.000 đồng.
Tôi được biết anh Lê Minh Tuấn (42 tuổi), người phụ trách, hôm nay nghỉ vì đau lưng.
Xin liên hệ qua số 028 0000 1234 hoặc [email protected].
Nơi nhận: Tầng 5, Tòa nhà Mẫu, 12 Đường Mẫu, Phường Ví Dụ, TP. Giả Định
* Khung này chỉ minh họa cách hoạt động và phát lại đáp án định sẵn (không chạy mô hình thật). Các câu mẫu đều là hư cấu.
So với 120B,
ít che thừa hơn.
Chúng tôi đưa cùng một yêu cầu cho Noir và gpt-oss-120b (117 tỷ tham số) trên 100 tài liệu tiếng Nhật và 100 tài liệu tiếng Anh để so sánh. Các tờ giấy phía trên minh họa từng kiểu lỗi. Các thanh phía dưới là tỷ lệ xảy ra lỗi đó; thanh càng ngắn, kết quả càng tốt.
* Số đo thực tế trên bộ kiểm tra do chúng tôi tự soạn (tháng 11/2026, Q4_K_M, dùng kèm các quy tắc chung cho email, số điện thoại, URL và ngày tháng). Điều kiện chi tiết ở cuối trang.
Yêu cầu càng mơ hồ,
khác biệt càng rõ.
Chúng tôi đặt lượng che sót lên bàn cân. Bên nào sót nhiều hơn thì đĩa cân bên đó hạ xuống. Với yêu cầu liệt kê rõ từng loại, hai bên ngang nhau; nhưng với yêu cầu mơ hồ như “thông tin cá nhân”, hoặc có kèm “nhưng trừ … ra”, khoảng cách mở rộng.
Noir0%
gpt-oss-120b0%
* Tổng cộng tiếng Nhật và tiếng Anh. Tỷ lệ che sót (%, 1 ô = 1%). Cơ cấu yêu cầu: liệt kê từng loại 69 tài liệu, yêu cầu mơ hồ 104 tài liệu, có ngoại lệ 27 tài liệu.
4 ngôn ngữ,
kết quả từng ngôn ngữ.
Mỗi ngôn ngữ có một bản Noir riêng (tiếng Nhật và tiếng Anh dùng chung). Màu vàng là những con số tốt hơn gpt-oss-120b.
- Với tiếng Croatia và tiếng Đức, tỷ lệ che sót gần bằng gpt-oss-120b. Phần lớn chỗ sót là ngày và giờ viết kiểu châu Âu, như “02.11.2026” hay “14:12 Uhr”.
- Theo tính toán thử, nếu thêm 2 quy tắc bắt ngày giờ dạng này, tỷ lệ sót giảm từ 31 xuống 23% với tiếng Croatia và từ 25 xuống 15% với tiếng Đức, thấp hơn gpt-oss-120b (24% và 19%). Chúng tôi dự định đưa vào sản phẩm. Dự kiến
Kết quả trả về
là JSON.
Noir trả về danh sách những chỗ tìm được, gộp theo từng đối tượng. Đó là chuỗi ký tự y như trong tài liệu, nên bạn chỉ việc tìm trong văn bản và thay thế.
Điện thoại của anh Tuấn là 028 0000 1234,
email là [email protected].
- id: cùng một người, cùng một đối tượng được gộp làm một (“Lê Minh Tuấn” và “Tuấn”).
- type: tên nhãn, có 48 loại. Trả về bằng ngôn ngữ của câu lệnh (với tiếng Nhật là “人名”).
- mentions: chuỗi ký tự y như trong tài liệu. Nếu không có gì khớp thì là
[].
Hãy tìm trong tài liệu sau tất cả những gì
khớp với đối tượng. … (lược)
Chỉ xuất ra mảng JSON: [{"id": "E1",
"type": "...", "mentions": ["..."]}]
Đối tượng:
Thông tin cá nhân. Nhưng trừ tuổi ra
Cách làm: che chữ (không đưa replacements)
Tài liệu:
(tài liệu đặt ở đây)Một trang tài liệu,
khoảng 20 giây.
Phát lại toàn bộ quá trình: CPU của laptop (không GPU) đọc tài liệu khoảng 900 ký tự rồi trả về những chỗ cần che. Phát nhanh gấp 5, đồng hồ hiển thị số giây thực.
0.0giâyPhát nhanh gấp 5
Đọc tài liệuViết ra chỗ cần che
Đã che 0 / 0 chỗ
- Yêu cầu
- Tên người, số điện thoại, địa chỉ email, địa chỉ
- Đọc vào
- Khoảng 140 token/giây
- Viết ra
- Khoảng 24 token/giây
- Thiết bị
- Core i7-11800H, 8 luồng
- Xử lý lần lượt với tốc độ này, một máy làm được khoảng 170.000 ký tự mỗi giờ.
- Khi xử lý 16 tài liệu cùng lúc trên GPU, 100 tài liệu mất khoảng 20 giây (gpt-oss-120b: khoảng 90 giây). Đo nội bộ
* Tài liệu và những chỗ bị che là bản minh họa (không có mô hình nào chạy trong trang này). Thời gian được tính từ tốc độ đọc và viết đo nội bộ. Các cách gọi cùng chỉ một người được gộp làm một và che cùng lúc.
Cắt thành từng đoạn
1.000 ký tự rồi đưa vào.
Tài liệu dài được cắt thành các đoạn khoảng 1.000 ký tự rồi đưa vào từng đoạn một. Giữ đúng độ dài mô hình đã gặp khi huấn luyện sẽ giảm bỏ sót. Cuối cùng, kết quả được gộp lại và kết hợp với các quy tắc bắt những dạng cố định như email, số điện thoại, URL và ngày tháng.
Khởi chạy (llama.cpp)
llama-server -m noir-ja-en-Q4_K_M.gguf \ -c 16384 -t 8 -np 1 --jinja --port 8191
Công khaiTải trọng số →
- Tắt chế độ suy nghĩ (
enable_thinking: false) và dùng vớitemperature 0. - Chọn mô hình theo ngôn ngữ: tiếng Nhật và tiếng Anh dùng ja-en, tiếng Đức dùng de-en, tiếng Croatia dùng hr-en.
- Trên CPU (Core i7-11800H, 8 luồng), một đoạn 1.000 ký tự mất khoảng 20 giây. Đo nội bộ
Cùng một tài liệu,
che khác nhau theo từng yêu cầu.
Bạn có thể chọn yêu cầu và thử trên tài liệu mẫu. Đổi yêu cầu thì cùng một tài liệu sẽ bị che ở những chỗ khác nhau. Bạn cũng xem được nguyên văn câu lệnh gửi cho mô hình và JSON trả về.
1Chọn tài liệu
2Chọn yêu cầuChọn là chạy ngay
Hoặc tự chọn từng loại
Câu lệnh gửi cho mô hình
JSON trả về
[]
Cách đo
và tư vấn.
- Tài liệu: mỗi ngôn ngữ 100 tài liệu, gồm tiếng Nhật, Anh, Đức và Croatia. Đó là các tài liệu hư cấu soạn riêng để kiểm tra, như email, biên bản họp, ghi chú nhân sự, hóa đơn, thông tin khám chữa bệnh…, có đánh dấu đáp án ở những chỗ cần che.
- Yêu cầu: mỗi tài liệu dùng một trong ba kiểu “liệt kê từng loại”, “nói mơ hồ”, “có ngoại lệ”. gpt-oss-120b (reasoning effort medium) cũng nhận đúng câu lệnh đó.
- Thước đo: che sót = tỷ lệ đáp án còn sót lại; che thừa = tỷ lệ chỗ không cần che trong số những chỗ đã che; sai yêu cầu = tỷ lệ che cả loại không được yêu cầu.
- Thực hiện: tháng 11/2026, Q4_K_M. Chúng tôi sẽ rà soát lại trước khi công bố chính thức.