Lynx
공개 중CPU만으로 돌아가는 경량 RAG
동작CPU만
용도사내 문서 질의응답
크기0.8B(0.67GB)
성적93.8점(120B는 97.5점)
작으니까,
제로가 된다.
CatsAI가 만드는 것은 단 하나의 용도를 위한 작은 LLM입니다. 작아서 평범한 CPU로 돌아갑니다. 그래서 다음 세 가지가 필요 없어집니다.
0장
필요한 GPU
지금 있는 서버나 PC의 CPU로 돌아갑니다.
0원
API 종량 요금
사용 횟수에 따라 비용이 늘지 않습니다.
0건
사외로 보내는 데이터
모델은 사내 또는 기기 안에서 돌아갑니다.
참고: Lynx의 모델 파일은 0.67GB(0.8B, Q4_K_M)입니다.
멈추는 이유를,
다시 쓴다.
AI를 도입하고 싶은데 진척이 없다. 자주 듣는 이유는 세 가지입니다. 작은 모델이라면 각각 이렇게 바뀝니다.
API 요금을
매달 예측할 수 없다.API 요금이
애초에 없다.자사 CPU로 돌리므로, 사용 횟수에 따라 비용이 늘지 않습니다.
사내 문서를
사외로 보낼 수 없다.사내 문서를
사외로 보내지 않는다.모델은 사내 또는 기기 안에서 돌아갑니다. 문서는 밖으로 나가지 않습니다.
GPU 서버를
살 예산이 없다.GPU 서버를
사지 않아도 된다.지금 있는 서버나 PC, 스마트폰에서 돌아가는 크기로 만듭니다.
오픈 웨이트,
지금 바로 써 보는 모델.
Lynx·Noir·Serval·Ocelot은 모델 가중치를 공개하고 있습니다. 다운로드하면 가지고 계신 PC나 스마트폰에서 바로 써 볼 수 있습니다. 마음에 드시면 같은 방식으로 귀사의 용도에 맞춘 전용 모델을 제작해 드립니다.
Serval
공개 중스마트폰에서 돌아가는 초경량 번역
동작CPU만·인터넷 연결 없음
용도번역(10개 언어·90개 방향)
크기1.8B(1.1GB)
성적86.7점(120B는 87.9점)
※ 위 동작은 대본대로 재생하는 예시입니다(이 페이지 안에서 모델이 돌아가는 것은 아닙니다). 실제 모델은 가중치를 다운로드해 직접 써 보세요. 예문과 이름은 가상입니다.
써 보세요.
검게 바뀝니다.
왼쪽 칸에 글을 쓰면 오른쪽 칸에 그대로 옮겨지고, 개인정보 칸만 검게 바뀝니다. Noir가 하는 일의 예시입니다. 실제 Noir는 가중치를 다운로드해 직접 써 볼 수 있습니다.
Noir의 출력(예시)
※ 이 칸은 동작 예시입니다. 간단한 규칙으로 재현한 것이며 실제 모델은 돌아가지 않습니다. 입력한 글은 어디에도 전송되지 않습니다. 이름·전화번호·주소 등은 모두 가상입니다.
다른 방법과
솔직하게 비교한다.
| 클라우드 API | 자체 GPU 서버 | CatsAI의 소형 모델 | |
|---|---|---|---|
| 비용 | 쓴 만큼 늘어남 | GPU 구입과 유지보수 | 처음에 정한 고정액 임시 |
| 데이터가 가는 곳 | 사외로 전송 | 사내 | 사내 또는 기기 안 |
| 필요한 장비 | 없음(회선은 필수) | GPU 서버 | 지금 있는 CPU, 스마트폰 |
| 회선이 끊기면 | 멈춤 | 동작 | 동작 |
| 답할 수 있는 범위 | 넓음. 무엇이든 질문 가능 | 고르는 모델에 따라 다름 | 정해 둔 용도만 |
| 쓰기 시작하기까지 | 신청하면 바로 | 조달과 구축 필요 | 제작 기간 필요 |
아래 두 줄(테두리만 있는 칸)은 CatsAI 쪽이 불리한 점입니다. 무엇이든 물을 수 있는 범용 AI가 당장 필요하다면 클라우드 API가 맞습니다. 용도가 정해져 있고 비용과 데이터를 직접 쥐고 싶을 때가 소형 모델이 나설 차례입니다.
상담에서 통합까지,
네 걸음.
- 1
상담
어디에 쓰고 싶으신지, 어떤 데이터를 가지고 계신지 여쭙니다.
- 받는 것
- 용도와 데이터 현황
- 드리는 것
- 되는 것·안 되는 것에 대한 판단과 견적
- 2
프로토타입
적은 데이터로 작게 만들어 정확도를 숫자로 확인합니다.
- 받는 것
- 소량의 샘플 데이터
- 드리는 것
- 프로토타입 모델과 정확도 측정 결과
- 3
제작
용도 전용으로 학습시키고, CPU나 스마트폰에서 돌아가는 크기까지 가볍게 만듭니다.
- 받는 것
- 학습용 데이터와 구동할 장비의 조건
- 드리는 것
- 용도 전용 모델 본체
- 4
통합
모델을 구동하는 업무 시스템까지 한꺼번에 만듭니다.
- 받는 것
- 연동할 시스템의 정보
- 드리는 것
- 현장에서 돌아가는 시스템 일체
비용과 기간은 상담 단계에서 정해 고정합니다. 계약 조건은 임시
모델만 만들고
끝내지 않는다.
CatsAI는 업무 시스템 개발을 계속해 온 회사입니다. 소형 LLM 제작은 이제 막 시작했으며, 공개할 수 있는 도입 사례는 아직 없습니다.
대신 모델만 넘기고 끝내지 않습니다. 지금 쓰고 계신 시스템에 연결해 현장에서 돌아가는 데까지 책임집니다. 정확도는 프로토타입 단계에서 숫자로 보여 드립니다.
○○년시스템 개발 임시
○○건납품한 시스템 임시
자주 묻는 질문.
도입 사례가 있나요?
소형 LLM 제작은 이제 막 시작해서, 공개할 수 있는 도입 사례는 아직 없습니다. 대신 직접 만든 모델의 가중치를 공개하고 있습니다. 먼저 직접 돌려 보고 정확도와 속도를 확인해 보세요. 제작을 의뢰하실 때에도 프로토타입 단계에서 정확도를 숫자로 보여 드립니다.
공개된 모델은 자유롭게 쓸 수 있나요?
Lynx·Noir·Ocelot의 가중치는 누구나 다운로드해 써 볼 수 있습니다. 업무에 사용할 때의 조건은 각 모델의 라이선스를 확인해 주세요. 라이선스는 임시
사내 데이터를 넘겨야 하나요?
학습에 쓰는 데이터를 어떻게 다룰지는 첫 상담에서 정합니다. 사외로 반출할 수 없는 경우의 진행 방법도 제안해 드립니다. 문구는 임시
완성된 모델은 누구의 것인가요?
납품한 모델은 고객의 환경에서 고객이 직접 운영합니다. 계약 조건은 임시
어떤 CPU에서 돌아가나요?
용도와 필요한 속도에 맞춰 구동할 장비를 먼저 정한 뒤에 만듭니다. 실측값 게재 예정
한국어 등 다른 언어도 지원하나요?
번역 모델 Serval은 한국어·영어·일본어·중국어 등 10개 언어를 지원합니다. 다른 언어는 추가 학습으로 더할 수 있습니다(크로아티아어는 나중에 더한 언어입니다).
먼저 상담부터.
공개 중인 모델을 써 본 소감이나 “이런 용도에 쓸 수 있을까” 정도만 보내 주셔도 괜찮습니다. 비용은 견적에 합의한 뒤에만 발생합니다. 임시
상담(데모이므로 실제로 전송되지는 않습니다)