Lynx
Công khaiRAG gọn nhẹ, chỉ cần CPU là chạy
Chạy trênChỉ CPU
Dùng đểHỏi đáp trên tài liệu nội bộ
Kích thước0.8B (0.67GB)
Điểm số93.8 điểm (120B: 97.5 điểm)
CatsAI làm những LLM nhỏ, mỗi mô hình chỉ cho một mục đích. Vì nhỏ nên chạy được trên CPU thông thường. Nhờ vậy, bạn không còn cần ba thứ sau.
Chạy trên CPU của máy chủ và máy tính bạn đang có.
Dùng bao nhiêu lần, chi phí cũng không tăng.
Mô hình chạy trong công ty hoặc ngay trong thiết bị.
Tham khảo: tệp mô hình của Lynx nặng 0.67GB (0.8B, Q4_K_M).
Muốn đưa AI vào mà mãi chưa xong. Có ba lý do chúng tôi hay nghe. Với mô hình nhỏ, mỗi lý do thay đổi như sau.
Phí API
tháng nào cũng khó đoán.
Phí API
vốn dĩ không có.
Mô hình chạy trên CPU của chính bạn, nên dùng bao nhiêu lần chi phí cũng không tăng.
Tài liệu nội bộ
không được phép gửi ra ngoài.
Tài liệu nội bộ
không hề gửi ra ngoài.
Mô hình chạy trong công ty hoặc ngay trong thiết bị. Tài liệu không đi đâu cả.
Máy chủ GPU
không có ngân sách để mua.
Máy chủ GPU
không cần phải mua.
Chúng tôi làm mô hình vừa cỡ để chạy trên máy chủ, máy tính và điện thoại bạn đang có.
Lynx, Noir, Serval và Ocelot đều công khai trọng số. Chỉ cần tải về là bạn thử được ngay trên máy tính hay điện thoại của mình. Nếu ưng ý, chúng tôi sẽ làm một mô hình riêng cho mục đích của bạn theo đúng cách đó.
Công khaiRAG gọn nhẹ, chỉ cần CPU là chạy
Chạy trênChỉ CPU
Dùng đểHỏi đáp trên tài liệu nội bộ
Kích thước0.8B (0.67GB)
Điểm số93.8 điểm (120B: 97.5 điểm)
Công khaiChỉ bôi đen thông tin cá nhân
Chạy trênChỉ CPU
Dùng đểChe thông tin trong văn bản
Công khaiDịch thuật siêu nhẹ, chạy trên điện thoại
Chạy trênChỉ CPU, không cần mạng
Dùng đểDịch thuật (10 ngôn ngữ, 90 chiều)
Kích thước1.8B (1.1GB)
Điểm số86.7 điểm (120B: 87.9 điểm)
Công khaiĐọc văn bản thành tiếng, chạy trên điện thoại tên tạm
Chạy trênĐiện thoại, kể cả khi mất sóng
Dùng đểChuyển văn bản thành giọng nói (TTS)
* Các chuyển động ở trên là bản minh họa phát theo kịch bản (không có mô hình nào chạy trong trang này). Để thử mô hình thật, mời bạn tải trọng số về. Các câu mẫu và họ tên đều là hư cấu.
Viết vào các ô bên trái, văn bản sẽ hiện sang các ô bên phải, và chỉ những ô chứa thông tin cá nhân bị bôi đen. Đây là minh họa công việc của Noir. Noir thật thì bạn có thể tải trọng số về và thử ngay trên máy mình.
* Khung này chỉ minh họa cách hoạt động. Nó mô phỏng bằng vài quy tắc đơn giản, không chạy mô hình thật. Chữ bạn nhập không được gửi đi đâu cả. Họ tên, số điện thoại, địa chỉ… đều là hư cấu.
| API trên đám mây | Tự dựng máy chủ GPU | Mô hình nhỏ của CatsAI | |
|---|---|---|---|
| Chi phí | Dùng càng nhiều càng tăng | Mua và bảo trì GPU | Mức cố định chốt từ đầu tạm |
| Dữ liệu đi đâu | Gửi ra ngoài công ty | Trong công ty | Trong công ty hoặc trong thiết bị |
| Thiết bị cần có | Không (nhưng phải có mạng) | Máy chủ GPU | CPU và điện thoại đang có |
| Khi mất mạng | Ngừng | Vẫn chạy | Vẫn chạy |
| Phạm vi trả lời | Rộng. Hỏi gì cũng được | Tùy mô hình bạn chọn | Chỉ mục đích đã định |
| Thời gian đến lúc dùng | Đăng ký là dùng ngay | Cần mua sắm và dựng hệ thống | Cần thời gian xây dựng |
Hai dòng cuối (các ô chỉ có viền) là những điểm CatsAI yếu thế hơn. Nếu bạn cần ngay một AI đa năng, hỏi gì cũng được, thì API trên đám mây hợp hơn. Khi mục đích đã rõ, và bạn muốn giữ chi phí lẫn dữ liệu trong tay mình, đó là lúc dùng mô hình nhỏ.
Chúng tôi hỏi bạn muốn dùng vào việc gì và đang có dữ liệu ra sao.
Làm một bản nhỏ với ít dữ liệu và kiểm tra độ chính xác bằng con số.
Huấn luyện riêng cho mục đích của bạn, rồi thu gọn đến cỡ chạy được trên CPU hay điện thoại.
Chúng tôi làm trọn cả hệ thống nghiệp vụ chạy mô hình.
Chi phí và thời gian được chốt và cố định ngay từ bước tư vấn. Điều khoản hợp đồng là tạm thời
CatsAI là công ty đã phát triển hệ thống nghiệp vụ trong nhiều năm. Việc làm LLM nhỏ thì chúng tôi mới bắt đầu, và chưa có dự án triển khai nào để công bố.
Bù lại, chúng tôi không giao mô hình rồi dừng ở đó. Chúng tôi kết nối nó với hệ thống bạn đang dùng và theo đến khi nó chạy được trong thực tế. Độ chính xác sẽ được thể hiện bằng con số ngay từ bước làm thử.
Việc làm LLM nhỏ thì chúng tôi mới bắt đầu, và chưa có dự án triển khai nào để công bố. Thay vào đó, chúng tôi công khai trọng số của các mô hình đã làm. Mời bạn chạy thử trên máy mình trước để kiểm tra độ chính xác và tốc độ. Khi nhận đặt làm, chúng tôi cũng thể hiện độ chính xác bằng con số ngay từ bước làm thử.
Ai cũng có thể tải trọng số của Lynx, Noir và Ocelot về để thử. Điều kiện khi dùng cho công việc, mời bạn xem giấy phép của từng mô hình. Giấy phép là tạm thời
Cách xử lý dữ liệu huấn luyện được thống nhất ngay trong buổi tư vấn đầu tiên. Nếu dữ liệu không được phép mang ra ngoài, chúng tôi sẽ đề xuất cách làm phù hợp. Nội dung là tạm thời
Mô hình đã bàn giao chạy trong môi trường của khách hàng, do chính khách hàng vận hành. Điều khoản hợp đồng là tạm thời
Chúng tôi chốt thiết bị chạy trước, theo mục đích và tốc độ bạn cần, rồi mới làm mô hình. Sẽ đăng số đo thực tế
Mô hình dịch Serval hỗ trợ 10 ngôn ngữ, gồm tiếng Nhật, tiếng Anh, tiếng Trung, tiếng Hàn… Các ngôn ngữ khác có thể bổ sung bằng huấn luyện thêm (tiếng Croatia là ngôn ngữ được thêm về sau).
Chỉ là cảm nhận sau khi thử các mô hình công khai, hay một câu hỏi “dùng vào việc này có được không” cũng được. Chi phí chỉ phát sinh sau khi bạn đồng ý với báo giá. tạm
Tư vấn(Đây là demo nên việc gửi chỉ là mô phỏng)