因为小,
所以能做到零。
CatsAI做的,是只为一种用途服务的小型LLM。因为小,普通的CPU就能跑。于是,下面这三样都不再需要。
所需GPU
用现有服务器或电脑的CPU就能运行。
API按量费用
费用不会随使用次数增加。
发往公司外的数据
模型在公司内部或设备里运行。
参考:Lynx 的模型文件为 0.67GB(0.8B,Q4_K_M)。
推不动的理由,
一一改写。
想引入AI,却迟迟推不动。常听到的理由有三个。换成小模型,它们会变成这样。
API费用,
每月都说不准。API费用,
根本就没有。模型跑在自家的CPU上,费用不会随使用次数增加。
内部文档,
不能发到公司外。内部文档,
不用发到公司外。模型在公司内部或设备里运行,文档不会外流。
GPU服务器,
没有预算买。GPU服务器,
根本不用买。我们把模型做到现有服务器、电脑和手机都能跑的大小。
开放权重,
现在就能试的模型。
Lynx、Noir、Serval、Ocelot的模型权重均已公开。下载后,在您手边的电脑或手机上就能直接试用。如果满意,我们会用同样的方法,为您的用途打造专属模型。
※ 以上动画是按脚本播放的演示(本页面中并没有运行模型)。想看真实效果,请下载权重试用。例文和姓名均为虚构。
写点什么试试。
它会变黑。
在左边的方格里写下文字,右边的方格会同步显示,其中只有个人信息的方格会变黑。这是Noir工作方式的演示。真正的Noir,可以下载权重后在您手边试用。
Noir 的输出(演示)
※ 此处仅为动作演示,用简单的规则模拟,并没有运行真实模型。您输入的文字不会发送到任何地方。姓名、电话号码、地址等均为虚构。
和其他方案,
如实比一比。
| 云端API | 自建GPU服务器 | CatsAI的小型模型 | |
|---|---|---|---|
| 费用 | 用多少,涨多少 | GPU的采购与维护 | 一开始就定好的固定金额 暂定 |
| 数据去向 | 发往公司外 | 公司内部 | 公司内部或设备里 |
| 所需设备 | 无(但必须联网) | GPU服务器 | 现有的CPU、手机 |
| 断网时 | 停摆 | 照常运行 | 照常运行 |
| 能回答的范围 | 很广,什么都能问 | 取决于所选模型 | 仅限定好的用途 |
| 多久能用上 | 申请后马上可用 | 需要采购和搭建 | 需要制作周期 |
下面两行(只有边框的方格)是CatsAI不占优势的地方。如果您马上需要一个什么都能问的通用AI,云端API更合适。用途已经明确,又想把费用和数据握在自己手里时,才是小型模型出场的时候。
从咨询到集成,
4步。
- 1
咨询
先了解您想用在哪里、手头有什么样的数据。
- 您提供
- 用途和数据的大致情况
- 我们交付
- 对能做与不能做的判断,以及报价
- 2
试制
用少量数据先做一个小的,用数字验证精度。
- 您提供
- 少量样本数据
- 我们交付
- 试制模型和精度测试结果
- 3
制作
针对用途专门训练,并压缩到CPU和手机都能跑的大小。
- 您提供
- 训练用数据和运行设备的条件
- 我们交付
- 用途专属的模型本体
- 4
集成
连同运行模型的业务系统,一并做好。
- 您提供
- 需要对接的系统信息
- 我们交付
- 能在一线运行的整套系统
费用和周期在咨询阶段就确定,之后固定不变。 合同条件为暂定
模型做完,
并不是结束。
CatsAI是一家长期从事业务系统开发的公司。小型LLM的制作才刚刚起步,目前还没有可以公开的落地案例。
但我们不会交出模型就了事。我们负责把它接入您现有的系统,直到在一线真正跑起来。精度会在试制阶段用数字呈现给您。
常见问题。
有落地案例吗?
小型LLM的制作才刚刚起步,目前还没有可以公开的落地案例。作为替代,我们公开了自己做的模型的权重。请先在您手边跑一跑,亲自确认精度和速度。委托制作时,我们也会在试制阶段用数字向您呈现精度。
公开的模型可以自由使用吗?
Lynx、Noir、Ocelot的权重,任何人都可以下载试用。用于业务时的条件,请查看各模型的许可证。 许可证为暂定
需要把公司内部数据交给你们吗?
训练数据如何处理,在第一次咨询时商定。数据不能带出公司的情况,我们也会提出相应的做法。 文案为暂定
做好的模型归谁所有?
交付的模型在客户的环境中,由客户自己运行。 合同条件为暂定
能在什么样的CPU上运行?
我们会根据用途和所需速度,先确定运行设备,再开始制作。 实测值待发布
除了日语,还支持其他语言吗?
翻译模型Serval支持日语、英语、中文、韩语等10种语言。其他语言可以通过微调加入(克罗地亚语就是后来加上的)。