Lynx
Доступна Лёгкий RAG, которому хватит CPU
Работает только на CPU
Задача ответы на вопросы по внутренним документам
Размер 0.8B (0,67 GB)
Результат 93,8 балла (у 120B — 97,5)
Маленькая модель.
Поэтому — ноль.
CatsAI делает маленькие LLM под одну-единственную задачу. Такой модели хватает обычного CPU. Поэтому три вещи вам больше не нужны.
0шт.
GPU потребуется
Модель работает на CPU ваших нынешних серверов и ПК.
0₽
Плата за запросы к API
Расходы не растут с числом запросов.
0байт
Данных уходит наружу
Модель работает внутри компании или прямо в устройстве.
Для справки: файл модели Lynx весит 0,67 GB (0.8B, Q4_K_M).
Что мешало —
переписываем.
ИИ хочется внедрить, а дело стоит. Обычно называют три причины. С маленькой моделью каждая из них выглядит иначе.
Счёт за API
каждый месяц — сюрприз.Счёт за API
не приходит вовсе.Модель работает на ваших CPU, поэтому расходы не растут с числом запросов.
Внутренние документы
нельзя отправлять наружу.Внутренние документы
никуда не отправляются.Модель работает внутри компании или прямо в устройстве. Документы никуда не уходят.
На GPU-сервер
нет бюджета.На GPU-сервер
тратиться не нужно.Делаем модель такого размера, чтобы она работала на ваших нынешних серверах, ПК и смартфонах.
Открытые веса:
пробуйте прямо сейчас.
Веса моделей Lynx, Noir, Serval и Ocelot открыты. Скачайте их и сразу попробуйте на своём ПК или смартфоне. Понравится — тем же способом сделаем модель под вашу задачу.
Noir
Доступна Закрашивает только персональные данные
Работает только на CPU
Задача маскирование текста
Serval
Доступна Сверхлёгкий перевод в смартфоне
Работает только на CPU, без интернета
Задача перевод (10 языков, 90 направлений)
Размер 1.8B (1,1 GB)
Результат 86,7 балла (у 120B — 87,9)
Ocelot
Доступна Синтез речи в смартфоне рабочее название
Работает в смартфоне, даже без сети
Задача синтез речи из текста (TTS)
* Анимации выше — примеры, которые проигрываются по сценарию (на этой странице модели не запущены). Настоящие модели можно попробовать, скачав веса. Тексты и имена вымышлены.
Напишите пару строк.
Личное почернеет.
Напишите текст в левом поле: он появится в правом, а клетки с персональными данными станут чёрными. Это пример работы Noir. Настоящий Noir можно попробовать у себя, скачав веса.
Вывод Noir (пример)
* Это поле — пример работы. Он воспроизведён простыми правилами, настоящая модель здесь не запущена. Введённый текст никуда не отправляется. Имена, телефоны и адреса вымышлены.
Сравним с другими —
честно.
| Облачный API | Свой GPU-сервер | Компактная модель CatsAI | |
|---|---|---|---|
| Расходы | Растут с каждым запросом | Покупка и обслуживание GPU | Фиксированная сумма, согласованная заранее предв. |
| Куда уходят данные | Наружу | Остаются в компании | Остаются в компании или в устройстве |
| Оборудование | Не нужно (но нужна связь) | GPU-сервер | Нынешние CPU и смартфоны |
| Если пропала связь | Не работает | Работает | Работает |
| Круг вопросов | Широкий: можно спросить что угодно | Зависит от модели | Только выбранная задача |
| До начала работы | Подключился — и работаешь | Нужны закупка и настройка | Нужно время на разработку |
В двух нижних строках (клетки с одной рамкой) CatsAI проигрывает. Если универсальный ИИ, который отвечает на любые вопросы, нужен прямо сейчас — вам подойдёт облачный API. Компактная модель хороша, когда задача определена, а расходы и данные хочется держать у себя.
От разговора до внедрения —
4 шага.
- 1
Разговор
Узнаём, для чего нужна модель и какие данные у вас есть.
- От вас
- Задача и описание данных
- От нас
- Оценка того, что получится, а что нет, и смета
- 2
Прототип
Делаем небольшую модель на малом объёме данных и проверяем точность в цифрах.
- От вас
- Немного примеров данных
- От нас
- Прототип модели и результаты замеров точности
- 3
Разработка
Обучаем модель под задачу и облегчаем её, чтобы она работала на CPU или смартфоне.
- От вас
- Данные для обучения и требования к оборудованию
- От нас
- Готовая модель под вашу задачу
- 4
Внедрение
Делаем всё под ключ — вплоть до рабочей системы, в которой работает модель.
- От вас
- Сведения о системах, с которыми нужна связка
- От нас
- Система, которая работает у вас на месте
Стоимость и сроки определяем на этапе разговора и фиксируем. условия договора — предварительно
Сдать модель —
ещё не конец.
CatsAI много лет разрабатывает бизнес-системы. Компактными LLM мы занялись недавно, и внедрений, о которых можно рассказать публично, пока нет.
Зато мы не ограничиваемся передачей модели. Подключаем её к вашим нынешним системам и отвечаем за результат, пока всё не заработает на месте. Точность показываем в цифрах уже на этапе прототипа.
○○ лет разработки систем предв.
○○ сданных систем предв.
Частые вопросы.
У вас есть внедрения?
Компактными LLM мы занялись недавно, и внедрений, о которых можно рассказать публично, пока нет. Вместо этого мы открыли веса готовых моделей. Запустите их у себя и проверьте точность и скорость. А при заказе мы покажем точность в цифрах уже на этапе прототипа.
Открытыми моделями можно пользоваться свободно?
Веса Lynx, Noir и Ocelot может скачать и попробовать любой. Условия использования в работе смотрите в лицензии каждой модели. лицензии — предварительно
Придётся ли передавать вам внутренние данные?
Как обращаться с данными для обучения, решаем на первой встрече. Если данные нельзя выносить за пределы компании, предложим, как работать в таких условиях. текст — предварительно
Кому принадлежит готовая модель?
Сданная модель работает в вашей среде, и управляете ею вы. условия договора — предварительно
На каких CPU работает модель?
Сначала выбираем оборудование под задачу и нужную скорость, а потом делаем модель. замеры появятся позже
Работаете ли вы с другими языками, кроме японского?
Модель перевода Serval поддерживает 10 языков, включая японский, английский, китайский и корейский. Другие языки можно добавить дообучением (хорватский, например, добавлен позже).
Начнём с разговора.
Можно просто поделиться впечатлениями об открытых моделях или спросить, подойдёт ли модель для вашей задачи. Платить нужно только после того, как вы согласуете смету. предв.
Обсудим(это демо: отправка — макет)