Repolode
Enviar
floneum

floneum/kalosm

Un ecosistema de Rust para ejecutar modelos de IA preentrenados, locales o remotos (LLM, Whisper y embeddings), con salida estructurada controlable.

Ver en GitHubSitio web
Estrellas
2,235
Forks
135
Issues abiertos
53
Último commit
hace 13 días

¿Qué es?

Kalosm es un conjunto de crates de Rust para crear aplicaciones basadas en modelos preentrenados. Ofrece una interfaz sencilla para modelos de lenguaje como Llama, Mistral y Phi, transcripción de audio con Whisper, segmentación de imágenes con Segment Anything y embeddings de texto con Bert. Los modelos se pueden cargar cuantizados y acelerar con GPU.

Además de dar acceso a modelos, Kalosm incluye utilidades para preparar contexto para LLM: extrae texto de archivos txt, html, docx, md y pdf, lo divide en fragmentos y permite buscarlo mediante integraciones con bases de datos vectoriales. También ofrece rastreo y scraping web, además de transcripción desde el micrófono o desde archivos.

La generación estructurada es una función central. Los tipos que derivan Parse y Schema pueden limitar la salida del modelo a una estructura determinada, y se pueden proporcionar expresiones regulares o gramáticas personalizadas para formatos como JSON, HTML o XML. Fusor, un runtime para CPU y WebGPU con un compilador como base y orientado a la inferencia cuantizada, funciona como backend local; se indica que está en una fase temprana de desarrollo y que no está listo para producción.

Funciones clave

  • 01Ejecuta en Rust modelos preentrenados de lenguaje, audio, imágenes y embeddings.
  • 02Admite modelos cuantizados con aceleración por GPU.
  • 03Limita la salida a tipos de Rust o a expresiones regulares y gramáticas personalizadas mediante macros derive.
  • 04Extrae y divide en fragmentos texto de archivos txt, html, docx, md y pdf para proporcionar contexto a los LLM.
  • 05Transcribe audio desde el micrófono o desde archivos con Whisper.

Casos de uso

  • Crear un chatbot local en Rust sin llamar a una API alojada.
  • Generar JSON estructurado con un LLM local para que lo procese código posterior.
  • Añadir búsqueda semántica en documentos mediante embeddings locales.
  • Transcribir audio de reuniones o del micrófono en tu propio equipo.

Inicio rápido

  1. 1

    Instala Rust con rustup

  2. 2

    Crea un nuevo proyecto de Rust

    cargo new kalosm-hello-world cd ./kalosm-hello-world
  3. 3

    Añade Kalosm y Tokio como dependencias

    cargo add kalosm --features llama cargo add tokio --features full
  4. 4

    Añade el código del chatbot a main.rs y ejecútalo

    cargo run --release

Antes de usarlo

  • Fusor, el backend de inferencia, está en una fase temprana de desarrollo y aún no está listo para usarse en producción.
  • Requiere la cadena de herramientas de Rust y compilar desde el código fuente, lo que lleva tiempo.
  • Las descargas de modelos son grandes: pueden ocupar desde decenas de megabytes hasta decenas de gigabytes.

En colecciones

Ejecuta LLM en localHerramientas de vídeo y audio con IA

Temas

#llm#rust#local-llm#structured-output#speech-to-text#embeddings#whisper#quantization#ai#candle

Preguntas frecuentes

¿Qué es kalosm?
Un ecosistema de Rust para ejecutar modelos de IA preentrenados, locales o remotos (LLM, Whisper y embeddings), con salida estructurada controlable. Kalosm es un conjunto de crates de Rust para crear aplicaciones basadas en modelos preentrenados. Ofrece una interfaz sencilla para modelos de lenguaje como Llama, Mistral y Phi, transcripción de audio con Whisper, segmentación de imágenes con Segment Anything y embeddings de texto con Bert. Los modelos se pueden cargar cuantizados y acelerar con GPU.
¿kalosm es gratuito? ¿Qué licencia tiene?
kalosm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿kalosm sigue mantenido?
Mantenimiento activo. El último commit de kalosm fue el 24 oct 2026.
¿Para qué puedo usar kalosm?
Crear un chatbot local en Rust sin llamar a una API alojada. Generar JSON estructurado con un LLM local para que lo procese código posterior. Añadir búsqueda semántica en documentos mediante embeddings locales. Transcribir audio de reuniones o del micrófono en tu propio equipo.
¿Cómo se instala kalosm?
Instala Rust con rustup Crea un nuevo proyecto de Rust: cargo new kalosm-hello-world cd ./kalosm-hello-world Añade Kalosm y Tokio como dependencias: cargo add kalosm --features llama cargo add tokio --features full Añade el código del chatbot a main.rs y ejecútalo: cargo run --release
¿Dónde consigo kalosm?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/floneum/kalosm

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados