floneum/kalosm

これは何？

主な機能

• 01言語、音声、画像、埋め込みモデルの事前学習済みモデルをRustで実行できます。
• 02GPUアクセラレーションに対応した量子化モデルを利用できます。
• 03deriveマクロを使い、Rustの型、正規表現、独自の文法で出力を制約できます。
• 04LLMのコンテキスト用に、txt、html、docx、md、pdfからテキストを抽出して分割できます。
• 05Whisperを使い、マイクやファイルから音声を文字起こしできます。

ユースケース

• ホスト型APIを呼び出さずに、Rustでローカルチャットボットを構築する。
• ローカルLLMから、後続のコードで利用できる構造化JSONを生成する。
• ローカルの埋め込みモデルを使って、ドキュメントのセマンティック検索を追加する。
• 会議やマイクの音声を、自分のマシン上で文字起こしする。

クイックスタート

1. 1

   rustup で Rust をインストールする

2. 2

   新しい Rust プロジェクトを作成する

   cargo new kalosm-hello-world cd ./kalosm-hello-world
3. 3

   依存関係に Kalosm と Tokio を追加する

   cargo add kalosm --features llama cargo add tokio --features full
4. 4

   チャットボットのコードを main.rs に追加して実行する

   cargo run --release

使う前に知っておきたいこと

• !推論バックエンドの Fusor は開発初期段階にあり、本番環境での使用にはまだ適していません。
• !Rust ツールチェーンが必要です。また、ソースからのコンパイルには手間がかかります。
• !モデルのダウンロードサイズは数十メガバイトから数十ギガバイトに及びます。

収録されている特集

トピック

よくある質問

kalosm とは？

LLM、Whisper、埋め込みモデルなどの事前学習済みAIモデルを、構造化出力を制御しながらローカルまたはリモートで実行できるRustエコシステム。 Kalosmは、事前学習済みモデルを使ったアプリケーションを構築するためのRustクレート群です。Llama、Mistral、Phiなどの言語モデル、Whisperによる音声文字起こし、Segment Anythingによる画像セグメンテーション、Bertによるテキスト埋め込みをシンプルなインターフェースで利用できます。モデルは量子化形式で読み込め、GPUで高速化できます。

kalosm は無料で使えますか？ライセンスは？

kalosm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

kalosm は今もメンテナンスされていますか？

活発にメンテナンス中。kalosm の最終コミットは 2026年10月24日 です。

kalosm は何に使えますか？

ホスト型APIを呼び出さずに、Rustでローカルチャットボットを構築する。 ローカルLLMから、後続のコードで利用できる構造化JSONを生成する。 ローカルの埋め込みモデルを使って、ドキュメントのセマンティック検索を追加する。 会議やマイクの音声を、自分のマシン上で文字起こしする。

kalosm のインストール方法は？

rustup で Rust をインストールする 新しい Rust プロジェクトを作成する: cargo new kalosm-hello-world cd ./kalosm-hello-world 依存関係に Kalosm と Tokio を追加する: cargo add kalosm --features llama cargo add tokio --features full チャットボットのコードを main.rs に追加して実行する: cargo run --release

kalosm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/floneum/kalosm