Lynx
Ute nuLätt RAG som körs på bara CPU
Körs påbara CPU
Används tillfrågor mot interna dokument
Storlek0.8B (0,67 GB)
Resultat93,8 poäng (120B: 97,5)
CatsAI bygger små LLM:er som bara har en enda uppgift. De är så små att de körs på en vanlig CPU. Därför slipper ni tre saker.
Körs på CPU:n i de servrar och datorer ni redan har.
Kostnaden ökar inte med användningen.
Modellen körs hos er eller inne i enheten.
Som jämförelse: Lynx modellfil är 0,67 GB (0.8B, Q4_K_M).
Ni vill införa AI, men det går trögt. Vi hör ofta tre skäl. Med en liten modell ser de ut så här i stället.
API-kostnaden går inte att förutse.
API-kostnaden
finns inte.
Modellen körs på er egen CPU, så kostnaden ökar inte med användningen.
Interna dokument får inte skickas ut.
Interna dokument
skickas aldrig ut.
Modellen körs hos er eller inne i enheten. Dokumenten lämnar aldrig huset.
GPU-servrar har vi inte råd med.
GPU-servrar
behöver ni inte köpa.
Vi bygger modellen så att den får plats på de servrar, datorer och mobiler ni redan har.
Vikterna till Lynx, Noir, Serval och Ocelot är öppna. Ladda ner dem och testa direkt på din egen dator eller mobil. Gillar du resultatet bygger vi en modell för just ert ändamål på samma sätt.
Ute nuLätt RAG som körs på bara CPU
Körs påbara CPU
Används tillfrågor mot interna dokument
Storlek0.8B (0,67 GB)
Resultat93,8 poäng (120B: 97,5)
Ute nuBara personuppgifter blir svarta
Körs påbara CPU
Används tillmaskning av text
Ute nuUltralätt översättning i mobilen
Körs påbara CPU, utan nät
Används tillöversättning (10 språk, 90 riktningar)
Storlek1.8B (1,1 GB)
Resultat86,7 poäng (120B: 87,9)
Ute nuTalsyntes som körs i mobilen arbetsnamn
Körs påmobil, även utan täckning
Används tilluppläsning av text (TTS)
* Animationerna ovan är exempel som spelas upp enligt manus (ingen modell körs på den här sidan). Ladda ner vikterna för att testa på riktigt. Exempeltexter och namn är påhittade.
Skriv en text i rutorna till vänster, så dyker den upp till höger – och bara rutorna med personuppgifter blir svarta. Ett exempel på vad Noir gör. Den riktiga Noir kan du testa själv genom att ladda ner vikterna.
* Rutan är ett exempel på hur det fungerar. Den efterliknas med enkla regler – ingen riktig modell körs. Det du skriver skickas inte någonstans. Namn, telefonnummer, adresser och liknande är påhittade.
| Moln-API | Egen GPU-server | CatsAI:s små modeller | |
|---|---|---|---|
| Kostnad | Ökar med användningen | Inköp och underhåll av GPU | Fast belopp från start preliminärt |
| Vart datan tar vägen | Skickas ut ur företaget | Stannar internt | Internt eller i enheten |
| Utrustning | Ingen (kräver uppkoppling) | GPU-server | Befintlig CPU, mobil |
| Om nätet går ner | Stannar | Fungerar | Fungerar |
| Vad den kan svara på | Brett. Fråga om vad som helst | Beror på vald modell | Bara det valda ändamålet |
| Tid till start | Direkt efter beställning | Kräver inköp och uppsättning | Kräver tid för bygget |
De två nedersta raderna (rutorna med bara ram) är punkter där CatsAI har ett sämre läge. Behöver ni direkt en generell AI som kan svara på allt passar ett moln-API bättre. När ändamålet är bestämt och ni vill ha kostnad och data i egna händer – då är det dags för en liten modell.
Vi lyssnar på vad ni vill använda modellen till och vilka data ni har.
Vi bygger i liten skala med lite data och mäter träffsäkerheten i siffror.
Vi tränar modellen för ert ändamål och krymper den tills den går att köra på CPU eller mobil.
Vi bygger även verksamhetssystemet som modellen körs i – allt i ett.
Kostnad och tidsplan bestäms och låses redan vid första samtalet. avtalsvillkoren är preliminära
CatsAI är ett företag som länge har utvecklat verksamhetssystem. Små LLM:er har vi precis börjat bygga, och vi har ännu inga kunduppdrag som vi kan visa upp.
I gengäld lämnar vi inte bara över en modell. Vi kopplar den till systemen ni redan använder och tar ansvar hela vägen tills den fungerar i verksamheten. Träffsäkerheten visar vi i siffror redan i prototypskedet.
Vi har precis börjat bygga små LLM:er och har ännu inga kunduppdrag att visa upp. I stället har vi släppt vikterna till modellerna vi har byggt. Börja med att köra dem själv och kontrollera träffsäkerhet och fart. Vid ett uppdrag visar vi också träffsäkerheten i siffror redan i prototypskedet.
Vikterna till Lynx, Noir och Ocelot kan vem som helst ladda ner och testa. Villkoren för användning i verksamheten står i respektive modells licens. licensen är preliminär
Hur träningsdata ska hanteras bestämmer vi vid första samtalet. Vi föreslår också ett arbetssätt för data som inte får lämna företaget. texten är preliminär
Den levererade modellen körs i er miljö, av er. avtalsvillkoren är preliminära
Vi bestämmer utrustningen först, utifrån ändamål och önskad fart, och bygger sedan modellen. mätvärden kommer
Översättningsmodellen Serval stöder 10 språk, bland annat japanska, engelska, kinesiska och koreanska. Fler språk går att lägga till med finjustering (kroatiska lades till i efterhand).
Berätta gärna bara vad du tyckte om de öppna modellerna, eller fråga ”går det att använda till det här?”. Det kostar ingenting förrän ni har godkänt en offert. preliminärt
Kontakt(Demo – inget skickas på riktigt)