Lynx
DostępnyLekki RAG, któremu wystarczy samo CPU
Działa nasamym CPU
Zadaniepytania do dokumentów firmy
Rozmiar0.8B (0,67 GB)
Wynik93,8 pkt (120B: 97,5 pkt)
CatsAI buduje małe modele LLM do jednego, konkretnego zadania. Są małe, więc działają na zwykłym CPU. Dzięki temu trzy rzeczy przestają być potrzebne.
Działa na CPU serwerów i komputerów, które już masz.
Koszt nie rośnie z liczbą zapytań.
Model działa w firmie albo w samym urządzeniu.
Dla porównania: plik modelu Lynx ma 0,67 GB (0.8B, Q4_K_M).
Chcesz wdrożyć AI, ale sprawa stoi w miejscu. Najczęściej słyszymy trzy powody. Przy małym modelu każdy z nich wygląda inaczej.
Opłaty za API:co miesiąc niewiadoma.
Opłaty za API:
nie ma ich wcale.
Model działa na Twoim CPU, więc koszt nie rośnie z liczbą zapytań.
Dokumenty firmy:nie wolno ich wysyłać.
Dokumenty firmy:
nie trzeba ich wysyłać.
Model działa w firmie albo w samym urządzeniu. Dokumenty nie wychodzą na zewnątrz.
Serwer z GPU:nie ma na niego budżetu.
Serwer z GPU:
nie trzeba go kupować.
Budujemy model na tyle mały, by działał na serwerach, komputerach i smartfonach, które już masz.
Wagi modeli Lynx, Noir, Serval i Ocelot są publicznie dostępne. Pobierz je i od razu sprawdź na swoim komputerze albo smartfonie. Jeśli Ci się spodobają, w ten sam sposób zbudujemy model do Twojego zadania.
DostępnyLekki RAG, któremu wystarczy samo CPU
Działa nasamym CPU
Zadaniepytania do dokumentów firmy
Rozmiar0.8B (0,67 GB)
Wynik93,8 pkt (120B: 97,5 pkt)
DostępnyZaczernia tylko dane osobowe
Działa nasamym CPU
Zadaniemaskowanie tekstu
DostępnyUltralekki tłumacz na smartfon
Działa nasamym CPU, bez internetu
Zadanietłumaczenie (10 języków, 90 kierunków)
Rozmiar1.8B (1,1 GB)
Wynik86,7 pkt (120B: 87,9 pkt)
DostępnySynteza mowy na smartfon nazwa robocza
Działa nasmartfonie, także bez zasięgu
Zadanieczytanie tekstu na głos (TTS)
* Animacje powyżej to pokaz odtwarzany według scenariusza (na tej stronie nie działa żaden model). Prawdziwe modele sprawdzisz, pobierając wagi. Przykładowe teksty i nazwiska są fikcyjne.
Tekst wpisany w kratki po lewej pojawia się po prawej, a kratki z danymi osobowymi robią się czarne. Tak wygląda praca Noir. Prawdziwy Noir sprawdzisz u siebie, pobierając wagi.
* To pole jest tylko pokazem działania. Odtwarza je kilka prostych reguł, prawdziwy model tu nie pracuje. Wpisany tekst nie jest nigdzie wysyłany. Wszystkie nazwiska, numery telefonów i adresy są fikcyjne.
| API w chmurze | Własny serwer z GPU | Mały model CatsAI | |
|---|---|---|---|
| Koszt | rośnie z użyciem | zakup i utrzymanie GPU | stała kwota ustalona na początku wstępnie |
| Dokąd trafiają dane | poza firmę | zostają w firmie | zostają w firmie albo w urządzeniu |
| Potrzebny sprzęt | żaden (ale łącze jest konieczne) | serwer z GPU | CPU, które już masz, smartfon |
| Gdy zerwie się łącze | staje | działa | działa |
| Zakres odpowiedzi | szeroki, zapytasz o wszystko | zależy od wybranego modelu | tylko ustalone zadanie |
| Czas do startu | od razu po rejestracji | trzeba kupić i zbudować | trzeba czasu na budowę modelu |
W dwóch dolnych wierszach (kratki z samą ramką) CatsAI wypada gorzej. Jeśli od razu potrzebujesz uniwersalnego AI, które odpowie na wszystko, lepsze będzie API w chmurze. Mały model sprawdza się wtedy, gdy zadanie jest ustalone, a koszty i dane chcesz mieć u siebie.
Pytamy, do czego model ma służyć i jakie dane masz pod ręką.
Na niewielkiej porcji danych budujemy małą wersję i sprawdzamy dokładność na liczbach.
Uczymy model Twojego zadania i odchudzamy go tak, by działał na CPU albo smartfonie.
Budujemy też cały system, w którym model będzie pracował.
Koszt i termin ustalamy na etapie rozmowy i ich nie zmieniamy. Warunki umowy są wstępne
CatsAI od lat tworzy systemy dla firm. Małe modele LLM budujemy od niedawna i nie mamy jeszcze wdrożeń, które moglibyśmy pokazać publicznie.
Za to nie kończymy na przekazaniu modelu. Podłączamy go do systemu, z którego już korzystasz, i odpowiadamy za całość, aż zacznie działać na miejscu. Dokładność pokazujemy na liczbach już na etapie prototypu.
Małe modele LLM budujemy od niedawna i nie mamy jeszcze wdrożeń, które moglibyśmy pokazać publicznie. Zamiast tego udostępniamy wagi zbudowanych modeli. Uruchom je najpierw u siebie i sprawdź dokładność oraz szybkość. Przy zleceniu także pokażemy dokładność na liczbach już na etapie prototypu.
Wagi modeli Lynx, Noir i Ocelot każdy może pobrać i wypróbować. Warunki użycia w firmie znajdziesz w licencji danego modelu. Licencje są wstępne
Sposób obchodzenia się z danymi do uczenia ustalamy podczas pierwszej rozmowy. Zaproponujemy też rozwiązanie, gdy danych nie można wynieść z firmy. Treść jest wstępna
Dostarczony model działa w Twoim środowisku i to Ty go uruchamiasz. Warunki umowy są wstępne
Najpierw, zależnie od zadania i wymaganej szybkości, ustalamy sprzęt, a dopiero potem budujemy model. Pomiary pojawią się wkrótce
Serval, nasz model do tłumaczeń, obsługuje 10 języków, między innymi japoński, angielski, chiński, koreański i polski. Kolejne języki można dodać przez dostrajanie (chorwacki został dodany właśnie w ten sposób).
Możesz po prostu napisać, jak wypadły udostępnione modele, albo zapytać: „czy to się nada do takiego zadania?”. Koszty pojawiają się dopiero po zaakceptowaniu wyceny. wstępnie
Kontakt(to demo – wysyłka jest tylko symulowana)