floneum/kalosm

这是什么？

核心功能

• 01用 Rust 调用语言、语音、图像和嵌入等预训练模型。
• 02支持量化模型并可使用 GPU 加速。
• 03通过派生宏将输出约束为 Rust 类型，或使用正则与自定义语法。
• 04从 txt、html、docx、md、pdf 中提取并分块文本，用于 LLM 上下文。
• 05基于 Whisper 实现麦克风或文件的音频转写。

适用场景

• 在 Rust 中构建本地运行的聊天机器人，无需调用云端 API。
• 让本地 LLM 输出结构化 JSON，供后续代码直接使用。
• 利用本地嵌入模型为文档添加语义搜索。
• 在本机对会议或麦克风音频进行转写。

快速上手

1. 1

   通过 rustup 安装 Rust

2. 2

   创建新的 Rust 项目

   cargo new kalosm-hello-world cd ./kalosm-hello-world
3. 3

   添加 Kalosm 和 Tokio 作为依赖

   cargo add kalosm --features llama cargo add tokio --features full
4. 4

   将聊天机器人代码添加到 main.rs 并运行

   cargo run --release

使用前须知

• !推理后端 Fusor 仍处于早期开发阶段，尚不适用于生产环境。
• !需要安装 Rust 工具链并从源码编译，上手有一定门槛。
• !模型文件较大，从几十 MB 到数 GB 不等。

收录于专题

标签

常见问题

kalosm 是什么？

一套用 Rust 编写的生态，用于在本地或远程运行预训练 AI 模型，支持结构化输出。 Kalosm 是一组 Rust crate，用于基于预训练模型构建应用。它提供统一接口，支持 Llama、Mistral、Phi 等语言模型，Whisper 语音转写，Segment Anything 图像分割，以及 Bert 文本嵌入。模型可以以量化形式加载，并支持 GPU 加速。

kalosm 可以免费使用吗？用的什么许可证？

kalosm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

kalosm 还在维护吗？

活跃维护中。kalosm 最近一次提交是在 2026年10月24日。

kalosm 适合用来做什么？

在 Rust 中构建本地运行的聊天机器人，无需调用云端 API。 让本地 LLM 输出结构化 JSON，供后续代码直接使用。 利用本地嵌入模型为文档添加语义搜索。 在本机对会议或麦克风音频进行转写。

kalosm 怎么安装和运行？

通过 rustup 安装 Rust 创建新的 Rust 项目: cargo new kalosm-hello-world cd ./kalosm-hello-world 添加 Kalosm 和 Tokio 作为依赖: cargo add kalosm --features llama cargo add tokio --features full 将聊天机器人代码添加到 main.rs 并运行: cargo run --release

在哪里获取 kalosm？

源代码和安装说明在 GitHub 上：https://github.com/floneum/kalosm