Lynx
ZveřejněnoLehký RAG, který si vystačí jen s CPU
Běhjen CPU
Úkolodpovědi na dotazy nad interními dokumenty
Velikost0,8B (0,67 GB)
Skóre93,8 bodu (120B má 97,5)
CatsAI staví malé LLM určené pro jediný úkol. Jsou malé, takže běží na běžném CPU. A díky tomu odpadají tyto tři věci.
Běží na CPU serverů a počítačů, které už máte.
Náklady nerostou s počtem dotazů.
Model běží u vás ve firmě, nebo přímo v zařízení.
Pro představu: soubor modelu Lynx má 0,67 GB (0,8B, Q4_K_M).
Chcete nasadit AI, ale nehýbe se to. Nejčastěji slýcháme tři důvody. S malým modelem vypadá každý z nich jinak.
Poplatky za APInejdou odhadnout.
Poplatky za API
vůbec nejsou.
Model běží na vašem CPU, takže náklady nerostou s počtem dotazů.
Interní dokumentynesmějí ven.
Interní dokumenty
ven nejdou.
Model běží u vás ve firmě, nebo přímo v zařízení. Dokumenty nikam neodcházejí.
Na GPU servernení rozpočet.
GPU server
kupovat nemusíte.
Model postavíme tak velký, aby běžel na serverech, počítačích a mobilech, které už máte.
Váhy modelů Lynx, Noir, Serval a Ocelot jsou zveřejněné. Stáhněte si je a vyzkoušejte rovnou na svém počítači nebo mobilu. Když se vám osvědčí, postavíme stejným postupem model přímo pro váš úkol.
ZveřejněnoLehký RAG, který si vystačí jen s CPU
Běhjen CPU
Úkolodpovědi na dotazy nad interními dokumenty
Velikost0,8B (0,67 GB)
Skóre93,8 bodu (120B má 97,5)
ZveřejněnoZačerní jen osobní údaje
Běhjen CPU
Úkolmaskování textu
ZveřejněnoUltralehký překlad, který běží v mobilu
Běhjen CPU, bez připojení k internetu
Úkolpřeklad (10 jazyků, 90 směrů)
Velikost1,8B (1,1 GB)
Skóre86,7 bodu (120B má 87,9)
ZveřejněnoSyntéza řeči, která běží v mobilu pracovní název
Běhv mobilu, i bez signálu
Úkolčtení textu nahlas (TTS)
* Animace výše jsou ukázky přehrávané podle scénáře (na této stránce žádný model neběží). Skutečné modely si vyzkoušejte po stažení vah. Ukázkové texty a jména jsou smyšlené.
Text, který napíšete do levé mřížky, se přenese do pravé a políčka s osobními údaji zčernají. Je to ukázka toho, co dělá Noir. Skutečný Noir si můžete vyzkoušet u sebe po stažení vah.
* Toto pole je jen ukázka. Napodobuje model jednoduchými pravidly, skutečný model tu neběží. Text, který napíšete, se nikam neodesílá. Jména, telefonní čísla, adresy a další údaje jsou smyšlené.
| Cloudové API | Vlastní GPU server | Malý model od CatsAI | |
|---|---|---|---|
| Náklady | Rostou s používáním | Nákup a údržba GPU | Pevná částka dohodnutá předem předběžné |
| Kam jdou data | Mimo firmu | Zůstávají ve firmě | Zůstávají ve firmě nebo v zařízení |
| Potřebný hardware | Žádný (připojení nutné) | GPU server | CPU a mobily, které už máte |
| Při výpadku připojení | Stojí | Běží | Běží |
| Na co odpoví | Široký záběr, skoro na vše | Podle zvoleného modelu | Jen na dohodnutý úkol |
| Než začnete | Hned po registraci | Nutný nákup a zprovoznění | Nutný čas na vývoj modelu |
Poslední dva řádky (políčka jen s rámečkem) jsou body, ve kterých CatsAI vychází hůř. Pokud potřebujete hned univerzální AI, které se zeptáte na cokoli, hodí se cloudové API. Malý model přichází na řadu, když máte jasný úkol a chcete mít náklady i data pod kontrolou.
Zeptáme se, k čemu chcete model používat a jaká data máte k dispozici.
Z malého množství dat postavíme malý model a přesnost ověříme čísly.
Model natrénujeme na váš úkol a zmenšíme ho tak, aby běžel na CPU nebo v mobilu.
Postavíme i celý systém, ve kterém model poběží.
Cenu a termín dohodneme při konzultaci a pak už se nemění. smluvní podmínky jsou předběžné
CatsAI je firma, která se dlouhodobě věnuje vývoji firemních systémů. S malými LLM teprve začínáme a zatím nemáme reference, které bychom mohli zveřejnit.
Zato vám model jen nepředáme a neodejdeme. Napojíme ho na systémy, které používáte, a dotáhneme ho až do běžného provozu. Přesnost vám ukážeme v číslech už ve fázi prototypu.
S malými LLM teprve začínáme a zatím nemáme reference, které bychom mohli zveřejnit. Místo nich zveřejňujeme váhy modelů, které jsme postavili. Nejdřív si je spusťte u sebe a ověřte si přesnost i rychlost. I u zakázkového vývoje vám přesnost ukážeme v číslech už ve fázi prototypu.
Váhy modelů Lynx, Noir a Ocelot si může stáhnout a vyzkoušet kdokoli. Podmínky pro komerční použití najdete v licenci každého modelu. licence jsou předběžné
Jak naložíme s trénovacími daty, dohodneme při první konzultaci. Navrhneme i postup pro případ, že data nesmějí opustit firmu. text je předběžný
Dodaný model běží ve vašem prostředí a provozujete ho vy. smluvní podmínky jsou předběžné
Podle úkolu a požadované rychlosti nejdřív určíme cílový hardware a teprve pak model stavíme. naměřené hodnoty doplníme
Překladový model Serval umí 10 jazyků, mimo jiné japonštinu, angličtinu, čínštinu a korejštinu. Další jazyky lze přidat doladěním (chorvatštinu jsme přidali až dodatečně).
Stačí nám napsat dojmy ze zveřejněných modelů nebo se jen zeptat, jestli by to šlo použít pro váš případ. Platíte až poté, co odsouhlasíte cenovou nabídku. předběžné
Kontakt(Toto je demo, odeslání je jen naoko.)