Lynx
Disponibile RAG leggero che gira solo su CPU
Gira su Solo CPU
Uso Domande e risposte sui documenti interni
Taglia 0.8B (0,67 GB)
Punteggio 93,8 (il 120B: 97,5)
Così piccolo
da arrivare a zero.
CatsAI costruisce piccoli LLM dedicati a un solo compito. Essendo piccoli, girano su una normale CPU. E così di queste tre cose non c'è più bisogno.
0schede
GPU necessarie
Gira sulle CPU dei server e dei PC che avete già.
0€
Costi API a consumo
La spesa non cresce con l'uso.
0byte
Dati inviati all'esterno
Il modello gira in azienda o dentro il dispositivo.
Per riferimento: il file del modello Lynx pesa 0,67 GB (0.8B, Q4_K_M).
I motivi per fermarsi,
riscritti.
Vorreste adottare l'AI, ma il progetto non parte. I motivi che sentiamo più spesso sono tre. Con un modello piccolo, ecco come cambia ciascuno.
I costi delle API
sono imprevedibili.I costi delle API
non ci sono proprio.Il modello gira sulle vostre CPU: la spesa non cresce con l'uso.
I documenti interni
non possono uscire.I documenti interni
restano in azienda.Il modello gira in azienda o dentro il dispositivo. I documenti non escono.
Per un server GPU
non c'è budget.Per un server GPU
non serve budget.Costruiamo il modello della taglia giusta per i server, i PC e gli smartphone che avete già.
Pesi aperti: modelli
da provare subito.
Di Lynx, Noir, Serval e Ocelot pubblichiamo i pesi. Basta scaricarli per provarli così come sono, sul vostro PC o sul vostro smartphone. Se vi convincono, costruiamo con lo stesso metodo un modello dedicato al vostro caso d'uso.
Noir
Disponibile Annerisce solo i dati personali
Gira su Solo CPU
Uso Mascheramento dei testi
Serval
Disponibile Traduzione ultraleggera che gira su smartphone
Gira su Solo CPU, senza connessione
Uso Traduzione (10 lingue, 90 direzioni)
Taglia 1.8B (1,1 GB)
Punteggio 86,7 (il 120B: 87,9)
Ocelot
Disponibile Sintesi vocale che gira su smartphone nome provvisorio
Gira su Smartphone, anche senza rete
Uso Lettura dei testi ad alta voce (TTS)
* Le animazioni qui sopra sono esempi che seguono un copione (in questa pagina non gira nessun modello). Per provare quelli veri, scaricate i pesi. Testi e nomi sono di fantasia.
Provate a scrivere.
Diventa nero.
Scrivete un testo nelle caselle a sinistra: viene ricopiato a destra, e solo le caselle con dati personali diventano nere. È un esempio di ciò che fa Noir. Quello vero si prova scaricando i pesi.
Output di Noir (esempio)
* Questo riquadro è un esempio di funzionamento: riproduce il comportamento con regole semplici, senza un vero modello. Il testo inserito non viene inviato da nessuna parte. Nomi, numeri di telefono e indirizzi sono tutti di fantasia.
Un confronto onesto
con le alternative.
| API in cloud | Server GPU in proprio | Piccoli modelli CatsAI | |
|---|---|---|---|
| Costi | Crescono con l'uso | Acquisto e manutenzione delle GPU | Cifra fissa, decisa all'inizio provvisorio |
| Dove vanno i dati | Fuori dall'azienda | In azienda | In azienda o nel dispositivo |
| Hardware necessario | Nessuno (ma serve la rete) | Server GPU | Le CPU e gli smartphone che avete |
| Se cade la rete | Si ferma | Funziona | Funziona |
| A cosa sa rispondere | A tutto: si può chiedere qualsiasi cosa | Dipende dal modello scelto | Solo al compito stabilito |
| Tempo per partire | Subito dopo l'iscrizione | Servono acquisto e installazione | Serve il tempo di sviluppo |
Le ultime due righe (le caselle con il solo bordo) sono i punti in cui CatsAI è in svantaggio. Se vi serve subito un'AI generica a cui chiedere di tutto, le API in cloud sono la scelta giusta. I modelli piccoli entrano in gioco quando il compito è definito e volete tenere in casa costi e dati.
Dal colloquio all'integrazione,
4 passi.
- 1
Colloquio
Ci raccontate a cosa vi serve e quali dati avete a disposizione.
- Da voi
- Il caso d'uso e una descrizione dei dati
- Da noi
- Una valutazione di cosa si può e non si può fare, e un preventivo
- 2
Prototipo
Con pochi dati costruiamo una versione ridotta e ne verifichiamo l'accuratezza, numeri alla mano.
- Da voi
- Un piccolo campione di dati
- Da noi
- Il modello prototipo e i risultati delle misure di accuratezza
- 3
Sviluppo
Addestriamo il modello sul vostro caso d'uso e lo alleggeriamo fino a farlo girare su CPU o smartphone.
- Da voi
- I dati di addestramento e i requisiti dell'hardware su cui deve girare
- Da noi
- Il modello dedicato al vostro caso d'uso
- 4
Integrazione
Realizziamo anche il sistema aziendale in cui il modello lavora: tutto in un unico progetto.
- Da voi
- Le informazioni sui sistemi da collegare
- Da noi
- Un sistema completo, operativo sul campo
Costi e tempi si definiscono e si bloccano già al momento del colloquio. condizioni contrattuali provvisorie
Consegnare il modello
non è la fine.
CatsAI è un'azienda che sviluppa da anni sistemi software aziendali. La produzione di piccoli LLM è appena iniziata, e non abbiamo ancora casi di adozione da rendere pubblici.
In compenso, non ci limitiamo a consegnare il modello. Lo colleghiamo ai sistemi che usate oggi e ce ne occupiamo finché non funziona sul campo. L'accuratezza ve la mostriamo in numeri già in fase di prototipo.
○○ anni di sviluppo software provvisorio
○○ sistemi consegnati provvisorio
Domande frequenti.
Avete già casi di adozione?
La produzione di piccoli LLM è appena iniziata, e non abbiamo ancora casi di adozione da rendere pubblici. In compenso pubblichiamo i pesi dei modelli che abbiamo costruito: fateli girare sulle vostre macchine e verificate accuratezza e velocità. Anche nei progetti su commissione, vi mostriamo l'accuratezza in numeri già in fase di prototipo.
I modelli pubblicati si possono usare liberamente?
I pesi di Lynx, Noir e Ocelot possono essere scaricati e provati da chiunque. Per l'uso in azienda, verificate le condizioni nella licenza di ciascun modello. licenza provvisoria
Dobbiamo consegnarvi i nostri dati interni?
Come trattare i dati di addestramento lo decidiamo insieme nel primo colloquio. Vi proponiamo anche come procedere se i dati non possono uscire dall'azienda. testo provvisorio
Di chi è il modello finito?
Il modello consegnato gira nel vostro ambiente e siete voi a gestirlo. condizioni contrattuali provvisorie
Su quali CPU gira?
Prima stabiliamo l'hardware su cui deve girare, in base all'uso e alla velocità richiesta; poi costruiamo il modello. misure reali in arrivo
Funziona anche in lingue diverse dal giapponese?
Serval, il modello di traduzione, supporta 10 lingue, tra cui giapponese, inglese, cinese e coreano. Altre lingue si possono aggiungere con il fine-tuning (il croato, per esempio, è stato aggiunto in un secondo momento).
Per cominciare, parliamone.
Vanno bene anche solo le vostre impressioni sui modelli pubblicati, o una domanda del tipo «si può usare per questo?». I costi partono solo dopo l'accettazione del preventivo. provvisorio
Parliamo(è una demo: l'invio è simulato)