小さいから、
ゼロにできる。
CatsAIが作るのは、ひとつの用途のためだけの小さなLLMです。小さいので、ふつうのCPUで動きます。だから、次の3つがいらなくなります。
必要なGPU
いまあるサーバーやPCのCPUで動きます。
APIの従量料金
使った回数で費用が増えません。
社外へ送るデータ
モデルは社内か、端末の中で動きます。
参考:Lynx のモデルファイルは 0.67GB(0.8B、Q4_K_M)。
止まる理由を、
書き換える。
AIを入れたいのに進まない。よく聞く理由は3つです。小さなモデルなら、それぞれこう変わります。
APIの料金が、
毎月読めない。APIの料金が、
そもそもない。自社のCPUで動かすので、使った回数で費用は増えません。
社内の文書を、
社外に送れない。社内の文書を、
社外に送らない。モデルは社内か、端末の中で動きます。文書は外に出ません。
GPUサーバーを、
買う予算がない。GPUサーバーを、
買わなくていい。いまあるサーバーやPC、スマホで動く大きさに作ります。
オープンウェイト、
今すぐ試せるモデル。
Lynx・Noir・Serval・Ocelotは、モデルの重みを公開しています。ダウンロードすれば、お手元のPCやスマホでそのまま試せます。気に入ったら、同じ作り方であなたの用途専用のモデルを製作します。
Serval
公開中スマホで動く、超軽量の翻訳
動作CPUのみ・ネット接続なし
用途翻訳(10言語・90方向)
大きさ1.8B(1.1GB)
成績86.7点(120B は87.9点)
※ 上の動きは、台本どおりに再生している見本です(このページの中でモデルは動いていません)。本物は、重みをダウンロードしてお試しください。文例や氏名は架空です。
書いてみてください。
黒くなります。
左のマスに文章を書くと、右のマスに写り、個人情報のマスだけが黒くなります。Noirの仕事の見本です。本物のNoirは、重みをダウンロードしてお手元で試せます。
Noir の出力(見本)
※ この欄は動きの見本です。かんたんな規則で再現しており、実際のモデルは動いていません。入力した文字はどこにも送信されません。氏名・電話番号・住所などはすべて架空です。
ほかの方法と、
正直にくらべる。
| クラウドのAPI | GPUサーバーを自前で | CatsAIの小型モデル | |
|---|---|---|---|
| 費用 | 使った分だけ増える | GPUの購入と保守 | 最初に決めた固定額 仮 |
| データの行き先 | 社外に送る | 社内 | 社内、または端末の中 |
| 必要な機材 | なし(回線は必須) | GPUサーバー | いまあるCPU、スマホ |
| 回線が切れたら | 止まる | 動く | 動く |
| 答えられる範囲 | 広い。何でも聞ける | 選ぶモデルによる | 決めた用途だけ |
| 使い始めるまで | 申し込めばすぐ | 調達と構築が必要 | 製作の期間が必要 |
下の2行(枠だけのマス)は、CatsAIのほうが不利な点です。何でも聞ける汎用のAIがすぐ必要なら、クラウドのAPIが向いています。用途が決まっていて、費用とデータを手元に置きたいときが、小型モデルの出番です。
相談から組み込みまで、
4歩。
- 1
相談
何に使いたいか、手元にどんなデータがあるかを伺います。
- いただくもの
- 用途と、データのようす
- お渡しするもの
- できること・できないことの見立てと、見積り
- 2
試作
少しのデータで小さく作り、精度を数字で確かめます。
- いただくもの
- 少量のサンプルデータ
- お渡しするもの
- 試作モデルと、精度を測った結果
- 3
製作
用途専用に学習し、CPUやスマホで動く大きさまで軽くします。
- いただくもの
- 学習用のデータと、動かす機材の条件
- お渡しするもの
- 用途専用のモデル本体
- 4
組み込み
モデルを動かす業務システムまで、まとめて作ります。
- いただくもの
- つなぎたいシステムの情報
- お渡しするもの
- 現場で動くシステム一式
費用と期間は、相談の段階で決めて固定します。 契約条件は仮
モデルを作って、
終わりにしない。
CatsAIは、業務システムの開発を続けてきた会社です。小型LLMの製作は始めたばかりで、公開できる導入実績はまだありません。
そのかわり、モデルだけを渡して終わりにはしません。いまお使いのシステムにつないで、現場で動くところまで担当します。精度は、試作の段階で数字にしてお見せします。
よくある質問。
導入の実績はありますか?
小型LLMの製作は始めたばかりで、公開できる導入実績はまだありません。かわりに、作ったモデルの重みを公開しています。まずはお手元で動かして、精度や速さを確かめてください。製作のご依頼でも、試作の段階で精度を数字にしてお見せします。
公開しているモデルは、自由に使えますか?
Lynx・Noir・Ocelotの重みは、どなたでもダウンロードして試せます。業務で使うときの条件は、各モデルのライセンスをご確認ください。 ライセンスは仮
社内のデータを渡す必要はありますか?
学習に使うデータの扱いは、最初の相談で決めます。社外に持ち出せない場合の進め方もご提案します。 文面は仮
できあがったモデルは誰のものですか?
納品したモデルは、お客様の環境で、お客様が動かします。 契約条件は仮
どんなCPUで動きますか?
用途と求める速さに合わせて、動かす機材を先に決めてから作ります。 実測値を掲載予定
日本語以外にも対応できますか?
翻訳モデルのServalは、日本語・英語・中国語・韓国語など10言語に対応しています。ほかの言語は、追加学習で足せます(クロアチア語は、あとから足した言語です)。