floneum/kalosm

어떤 프로젝트인가요?

핵심 기능

• 01Rust에서 사전 학습된 언어·오디오·이미지·임베딩 모델을 실행합니다.
• 02GPU 가속을 지원하는 양자화 모델을 사용할 수 있습니다.
• 03derive 매크로를 통해 Rust 타입, 정규식 또는 사용자 지정 문법에 맞춰 출력을 제한합니다.
• 04LLM 컨텍스트에 활용할 수 있도록 txt, html, docx, md, pdf 파일에서 텍스트를 추출하고 청크로 나눕니다.
• 05Whisper를 사용해 마이크나 파일의 오디오를 전사합니다.

활용 사례

• 호스팅 API를 호출하지 않고 Rust로 로컬 챗봇을 만들기.
• 후속 코드에서 사용할 구조화된 JSON 출력을 로컬 LLM으로 생성하기.
• 로컬 임베딩을 사용해 문서의 시맨틱 검색 기능 추가하기.
• 자신의 컴퓨터에서 회의나 마이크 오디오를 전사하기.

빠른 시작

1. 1

   rustup으로 Rust 설치하기

2. 2

   새 Rust 프로젝트 만들기

   cargo new kalosm-hello-world cd ./kalosm-hello-world
3. 3

   의존성으로 Kalosm과 Tokio 추가하기

   cargo add kalosm --features llama cargo add tokio --features full
4. 4

   챗봇 코드를 main.rs에 추가하고 실행하기

   cargo run --release

사용 전 알아둘 점

• !추론 백엔드인 Fusor는 아직 개발 초기 단계이며 프로덕션 환경에서 사용할 준비가 되지 않았습니다.
• !Rust 툴체인이 필요하며, 소스 코드에서 직접 컴파일해야 해서 번거롭습니다.
• !모델 다운로드 크기는 수십 메가바이트에서 수십 기가바이트에 이릅니다.

포함된 컬렉션

토픽

자주 묻는 질문

kalosm은(는) 무엇인가요?

구조화된 출력을 제어하며 사전 학습된 로컬 또는 원격 AI 모델(LLM, Whisper, 임베딩)을 실행하는 Rust 생태계입니다. Kalosm은 사전 학습된 모델을 기반으로 애플리케이션을 만들 수 있는 Rust 크레이트 모음입니다. Llama, Mistral, Phi 같은 언어 모델, Whisper를 이용한 음성 전사, Segment Anything을 이용한 이미지 분할, Bert를 이용한 텍스트 임베딩을 위한 간단한 인터페이스를 제공합니다. 모델을 양자화된 형태로 불러오고 GPU로 가속할 수 있습니다.

kalosm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

kalosm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

kalosm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. kalosm의 마지막 커밋은 2026년 10월 24일입니다.

kalosm은(는) 어디에 사용할 수 있나요?

호스팅 API를 호출하지 않고 Rust로 로컬 챗봇을 만들기. 후속 코드에서 사용할 구조화된 JSON 출력을 로컬 LLM으로 생성하기. 로컬 임베딩을 사용해 문서의 시맨틱 검색 기능 추가하기. 자신의 컴퓨터에서 회의나 마이크 오디오를 전사하기.

kalosm는 어떻게 설치하나요?

rustup으로 Rust 설치하기 새 Rust 프로젝트 만들기: cargo new kalosm-hello-world cd ./kalosm-hello-world 의존성으로 Kalosm과 Tokio 추가하기: cargo add kalosm --features llama cargo add tokio --features full 챗봇 코드를 main.rs에 추가하고 실행하기: cargo run --release

kalosm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/floneum/kalosm