Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado ontem
EricLBuehler/mistral.rs
Engine de inferência de LLM em Rust, com APIs compatíveis com OpenAI e Anthropic, quantização, modelos multimodais e ferramentas para agentes.
Alternativa open source a:OpenAI API
- Estrelas
- 7,761
- Forks
- 742
- Issues abertas
- 415
- Último commit
- ontem
O que é?
mistral.rs é um engine de inferência de LLM escrito em Rust. Ele carrega modelos do Hugging Face e arquivos GGUF, detecta automaticamente a arquitetura e o template de chat e executa os modelos em CUDA, Metal ou CPU. Um único processo `mistralrs serve` disponibiliza endpoints `/v1` compatíveis com OpenAI e endpoints Messages compatíveis com Anthropic, além de uma interface web integrada em `/ui`.
O projeto reúne recursos que costumam estar espalhados por várias ferramentas: quantização (ISQ, GGUF, GPTQ, AWQ, FP8 e outros formatos), PagedAttention e cache de prefixos para servir requisições em lotes, adaptadores LoRA e X-LoRA e inferência multi-GPU. Também processa entradas de texto, imagem, vídeo e áudio, além de gerar fala e imagens e criar embeddings, com suporte a uma ampla variedade de arquiteturas de modelos.
Além de servir modelos, o projeto inclui um loop de agentes com chamada de ferramentas, execução de Python e shell em sandbox, busca na web e suporte a cliente MCP. Os SDKs de Python e Rust permitem executar o engine no próprio processo, sem iniciar um servidor.
Recursos principais
- 01Disponibiliza APIs compatíveis com OpenAI e Anthropic em um único processo.
- 02Carrega modelos do Hugging Face e arquivos GGUF, detectando automaticamente a arquitetura e o template.
- 03Oferece quantização in-situ e suporte a GGUF, GPTQ, AWQ, FP8 e outros formatos.
- 04Usa PagedAttention e cache de prefixos para processamento contínuo em lotes com CUDA e Apple Silicon.
- 05Oferece suporte a adaptadores LoRA e X-LoRA e à inferência multi-GPU.
- 06Inclui chamada de ferramentas, execução de Python e shell, busca na web e integração com cliente MCP.
Casos de uso
- Executar modelos de pesos abertos localmente por meio de um endpoint compatível com OpenAI ou Anthropic.
- Integrar a inferência de LLM a uma aplicação em Rust ou Python sem precisar de um servidor separado.
- Servir modelos quantizados com memória de GPU limitada ou em Apple Silicon.
- Criar agentes que executam código, comandos de shell ou buscas na web por meio de chamadas de ferramentas.
Início rápido
- 1
Execute o script oficial de instalação para sua plataforma disponível no README
- 2
Inicie um modelo e seu servidor
mistralrs serve -m Qwen/Qwen3-4B --quant 4 - 3
Abra a interface web no navegador e envie uma mensagem
Antes de usar
- A instalação depende de um script remoto, em vez de usar um gerenciador de pacotes padrão.
- As compilações específicas para aceleradores (CUDA, Metal, MKL, Accelerate) exigem uma configuração separada, conforme o guia de introdução.
Tópicos
Perguntas frequentes
- O que é mistral.rs?
- Engine de inferência de LLM em Rust, com APIs compatíveis com OpenAI e Anthropic, quantização, modelos multimodais e ferramentas para agentes. mistral.rs é um engine de inferência de LLM escrito em Rust. Ele carrega modelos do Hugging Face e arquivos GGUF, detecta automaticamente a arquitetura e o template de chat e executa os modelos em CUDA, Metal ou CPU. Um único processo `mistralrs serve` disponibiliza endpoints `/v1` compatíveis com OpenAI e endpoints Messages compatíveis com Anthropic, além de uma interface web integrada em `/ui`.
- mistral.rs é gratuito? Qual é a licença?
- mistral.rs é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- mistral.rs ainda é mantido?
- Manutenção ativa. O último commit de mistral.rs foi em 20 de out. de 2026.
- Para que posso usar mistral.rs?
- Executar modelos de pesos abertos localmente por meio de um endpoint compatível com OpenAI ou Anthropic. Integrar a inferência de LLM a uma aplicação em Rust ou Python sem precisar de um servidor separado. Servir modelos quantizados com memória de GPU limitada ou em Apple Silicon. Criar agentes que executam código, comandos de shell ou buscas na web por meio de chamadas de ferramentas.
- Como instalar mistral.rs?
- Execute o script oficial de instalação para sua plataforma disponível no README Inicie um modelo e seu servidor: mistralrs serve -m Qwen/Qwen3-4B --quant 4 Abra a interface web no navegador e envie uma mensagem
- Onde consigo mistral.rs?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/EricLBuehler/mistral.rs
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um mecanismo de IA auto-hospedado e compatível com OpenAI, que executa LLMs e modelos de visão, voz, imagem e vídeo em qualquer hardware, inclusive em máquinas só com CPU.
49,8 mil4,5 milGoMITAtualizado há 23 horas
Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.
7,2 mil494RustApache-2.0Atualizado há 3 dias
Fork do llama.cpp focado em acelerar a inferência em CPU, com tipos extras de quantização e recursos para executar LLMs GGUF localmente.
3,3 mil494C++MITAtualizado ontem
Biblioteca nativa do PyTorch para quantização, esparsidade e treinamento em float8, abrangendo treinamento de modelos e inferência em produção.
3 mil655PythonOtherAtualizado anteontem
Um mecanismo mínimo de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe 1B em placas de baixo custo com cerca de 45 MB de RAM, sem dependências.
2,2 mil293CMITAtualizado há 8 meses