floneum/kalosm

Что это?

Ключевые возможности

• 01Запускает в Rust предобученные языковые модели, модели для работы с аудио и изображениями, а также модели эмбеддингов.
• 02Поддерживает квантованные модели с ускорением на GPU.
• 03Позволяет ограничивать вывод типами Rust, регулярными выражениями и пользовательскими грамматиками с помощью derive-макросов.
• 04Извлекает текст из файлов txt, html, docx, md и pdf и разбивает его на фрагменты для контекста LLM.
• 05Транскрибирует аудио с микрофона или из файла с помощью Whisper.

Сценарии использования

• Создание локального чат-бота на Rust без обращения к размещённому API.
• Генерация структурированного JSON локальной LLM для дальнейшей обработки кодом.
• Добавление семантического поиска по документам с помощью локальных эмбеддингов.
• Транскрибация записей встреч или аудио с микрофона на собственном компьютере.

Быстрый старт

1. 1

   Установите Rust с помощью rustup

2. 2

   Создайте новый проект Rust

   cargo new kalosm-hello-world cd ./kalosm-hello-world
3. 3

   Добавьте Kalosm и Tokio в зависимости

   cargo add kalosm --features llama cargo add tokio --features full
4. 4

   Добавьте код чат-бота в main.rs и запустите его

   cargo run --release

Что важно знать

• !Fusor, бэкенд для инференса, находится на раннем этапе разработки и пока не готов к использованию в продакшене.
• !Требуется тулчейн Rust и сборка из исходного кода, что требует времени и усилий.
• !Размер загружаемых моделей варьируется от десятков мегабайт до десятков гигабайт.

В подборках

Темы

Частые вопросы

Что такое kalosm?

Экосистема Rust для запуска предобученных локальных или удалённых моделей ИИ (LLM, Whisper, эмбеддинги) с управляемым структурированным выводом. Kalosm — набор крейтов Rust для создания приложений на основе предобученных моделей. Он предоставляет простой интерфейс для языковых моделей, таких как Llama, Mistral и Phi, транскрибации аудио с помощью Whisper, сегментации изображений с Segment Anything и текстовых эмбеддингов с Bert. Модели можно загружать в квантованном виде и ускорять с помощью GPU.

kalosm можно использовать бесплатно? Какая у него лицензия?

kalosm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

kalosm всё ещё поддерживается?

Активно поддерживается. Последний коммит в kalosm — 24 окт. 2026 г..

Для чего можно использовать kalosm?

Создание локального чат-бота на Rust без обращения к размещённому API. Генерация структурированного JSON локальной LLM для дальнейшей обработки кодом. Добавление семантического поиска по документам с помощью локальных эмбеддингов. Транскрибация записей встреч или аудио с микрофона на собственном компьютере.

Как установить kalosm?

Установите Rust с помощью rustup Создайте новый проект Rust: cargo new kalosm-hello-world cd ./kalosm-hello-world Добавьте Kalosm и Tokio в зависимости: cargo add kalosm --features llama cargo add tokio --features full Добавьте код чат-бота в main.rs и запустите его: cargo run --release

Где скачать kalosm?

Исходный код и инструкции по установке — на GitHub: https://github.com/floneum/kalosm