floneum/kalosm

O que é?

Recursos principais

• 01Executa em Rust modelos pré-treinados de linguagem, áudio, imagem e embeddings.
• 02Oferece suporte a modelos quantizados com aceleração por GPU.
• 03Restringe a saída a tipos Rust, regex ou gramáticas personalizadas por meio de macros derive.
• 04Extrai e divide em partes texto de arquivos txt, html, docx, md e pdf para usar como contexto de LLMs.
• 05Transcreve áudio de um microfone ou arquivo usando Whisper.

Casos de uso

• Criar um chatbot local em Rust sem chamar uma API hospedada.
• Gerar saída JSON estruturada com um LLM local para uso em código subsequente.
• Adicionar busca semântica em documentos usando embeddings locais.
• Transcrever reuniões ou áudio captado pelo microfone na própria máquina.

Início rápido

1. 1

   Instale Rust com rustup

2. 2

   Crie um novo projeto Rust

   cargo new kalosm-hello-world cd ./kalosm-hello-world
3. 3

   Adicione Kalosm e Tokio como dependências

   cargo add kalosm --features llama cargo add tokio --features full
4. 4

   Adicione o código do chatbot a main.rs e execute-o

   cargo run --release

Antes de usar

• !Fusor, o backend de inferência, está em estágio inicial de desenvolvimento e ainda não está pronto para uso em produção.
• !Requer a toolchain do Rust e compilação a partir do código-fonte, o que dá trabalho.
• !Os downloads dos modelos são grandes, variando de dezenas de megabytes a dezenas de gigabytes.

Em coleções

Tópicos

Perguntas frequentes

O que é kalosm?

Um ecossistema Rust para executar modelos de IA pré-treinados, locais ou remotos (LLMs, Whisper e embeddings), com saída estruturada controlável. Kalosm é um conjunto de crates Rust para criar aplicações com base em modelos pré-treinados. Ele oferece uma interface simples para modelos de linguagem como Llama, Mistral e Phi, transcrição de áudio com Whisper, segmentação de imagens com Segment Anything e embeddings de texto com Bert. Os modelos podem ser carregados em formato quantizado e acelerados na GPU.

kalosm é gratuito? Qual é a licença?

kalosm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

kalosm ainda é mantido?

Manutenção ativa. O último commit de kalosm foi em 24 de out. de 2026.

Para que posso usar kalosm?

Criar um chatbot local em Rust sem chamar uma API hospedada. Gerar saída JSON estruturada com um LLM local para uso em código subsequente. Adicionar busca semântica em documentos usando embeddings locais. Transcrever reuniões ou áudio captado pelo microfone na própria máquina.

Como instalar kalosm?

Instale Rust com rustup Crie um novo projeto Rust: cargo new kalosm-hello-world cd ./kalosm-hello-world Adicione Kalosm e Tokio como dependências: cargo add kalosm --features llama cargo add tokio --features full Adicione o código do chatbot a main.rs e execute-o: cargo run --release

Onde consigo kalosm?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/floneum/kalosm