Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado ayer
EricLBuehler/mistral.rs
Motor de inferencia de LLM en Rust que ofrece API compatibles con OpenAI y Anthropic, cuantización, modelos multimodales y herramientas para agentes.
Alternativa open source a:OpenAI API
- Estrellas
- 7,761
- Forks
- 742
- Issues abiertos
- 415
- Último commit
- ayer
¿Qué es?
mistral.rs es un motor de inferencia de LLM escrito en Rust. Carga modelos de Hugging Face y archivos GGUF, detecta automáticamente su arquitectura y plantilla de chat, y los ejecuta en CUDA, Metal o CPU. Un único proceso `mistralrs serve` expone endpoints `/v1` compatibles con OpenAI y endpoints Messages compatibles con Anthropic, e incluye una interfaz web integrada en `/ui`.
El proyecto reúne varias funciones que a menudo se reparten entre distintas herramientas: cuantización (ISQ, GGUF, GPTQ, AWQ, FP8 y otras), PagedAttention y caché de prefijos para servir solicitudes en lotes, adaptadores LoRA y X-LoRA, e inferencia multi-GPU. También admite entradas de texto, imágenes, video y audio, además de generación de voz e imágenes y embeddings, con una amplia variedad de arquitecturas de modelos.
Además de servir modelos, incluye un ciclo de agentes con llamadas a herramientas, ejecución aislada de Python y shell, búsqueda web y compatibilidad con clientes MCP. Los SDK de Python y Rust permiten ejecutar el motor dentro del proceso sin iniciar un servidor.
Funciones clave
- 01Ofrece API compatibles con OpenAI y Anthropic desde un único proceso.
- 02Carga modelos de Hugging Face y archivos GGUF, y detecta automáticamente la arquitectura y la plantilla.
- 03Admite cuantización in situ y los formatos GGUF, GPTQ, AWQ, FP8, entre otros.
- 04Usa PagedAttention y caché de prefijos para el procesamiento continuo por lotes en CUDA y Apple Silicon.
- 05Incluye compatibilidad con adaptadores LoRA y X-LoRA e inferencia multi-GPU.
- 06Ofrece llamadas a herramientas, ejecución de Python y shell, búsqueda web e integración con clientes MCP.
Casos de uso
- Ejecutar modelos de pesos abiertos localmente detrás de un endpoint compatible con OpenAI o Anthropic.
- Integrar la inferencia de LLM en una aplicación de Rust o Python sin un servidor aparte.
- Servir modelos cuantizados con memoria GPU limitada o en Apple Silicon.
- Crear agentes que ejecuten código, comandos de shell o búsquedas web mediante llamadas a herramientas.
Inicio rápido
- 1
Ejecuta el script de instalación oficial para tu plataforma desde el README
- 2
Inicia un modelo y su servidor
mistralrs serve -m Qwen/Qwen3-4B --quant 4 - 3
Abre la interfaz web en el navegador y envía un mensaje
Antes de usarlo
- La instalación depende de un script de instalación remoto, en lugar de usar un gestor de paquetes estándar.
- Las compilaciones específicas para aceleradores (CUDA, Metal, MKL, Accelerate) requieren una configuración aparte según la guía de inicio.
Temas
Preguntas frecuentes
- ¿Qué es mistral.rs?
- Motor de inferencia de LLM en Rust que ofrece API compatibles con OpenAI y Anthropic, cuantización, modelos multimodales y herramientas para agentes. mistral.rs es un motor de inferencia de LLM escrito en Rust. Carga modelos de Hugging Face y archivos GGUF, detecta automáticamente su arquitectura y plantilla de chat, y los ejecuta en CUDA, Metal o CPU. Un único proceso `mistralrs serve` expone endpoints `/v1` compatibles con OpenAI y endpoints Messages compatibles con Anthropic, e incluye una interfaz web integrada en `/ui`.
- ¿mistral.rs es gratuito? ¿Qué licencia tiene?
- mistral.rs es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿mistral.rs sigue mantenido?
- Mantenimiento activo. El último commit de mistral.rs fue el 20 oct 2026.
- ¿Para qué puedo usar mistral.rs?
- Ejecutar modelos de pesos abiertos localmente detrás de un endpoint compatible con OpenAI o Anthropic. Integrar la inferencia de LLM en una aplicación de Rust o Python sin un servidor aparte. Servir modelos cuantizados con memoria GPU limitada o en Apple Silicon. Crear agentes que ejecuten código, comandos de shell o búsquedas web mediante llamadas a herramientas.
- ¿Cómo se instala mistral.rs?
- Ejecuta el script de instalación oficial para tu plataforma desde el README Inicia un modelo y su servidor: mistralrs serve -m Qwen/Qwen3-4B --quant 4 Abre la interfaz web en el navegador y envía un mensaje
- ¿Dónde consigo mistral.rs?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/EricLBuehler/mistral.rs
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de IA autohospedado y compatible con OpenAI que ejecuta LLM, modelos de visión, voz, imagen y video en cualquier hardware, incluso solo con CPU.
49,8 mil4,5 milGoMITActualizado hace 23 horas
Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar modelos abiertos más rápido en Apple Silicon, NVIDIA, AMD o CPU.
7,2 mil494RustApache-2.0Actualizado hace 3 días
Un fork de llama.cpp centrado en acelerar la inferencia en CPU, con más tipos de cuantización y funciones para ejecutar LLMs GGUF localmente.
3,3 mil494C++MITActualizado ayer
Biblioteca nativa de PyTorch para cuantización, sparsity y entrenamiento float8, tanto para entrenar modelos como para servir inferencias.
3 mil655PythonOtherActualizado anteayer
Motor mínimo de inferencia de LLM en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas con unos 45 MB de RAM y sin dependencias.
2,2 mil293CMITActualizado hace 8 meses