EricLBuehler/mistral.rs

这是什么？

核心功能

• 01同一进程提供 OpenAI 兼容与 Anthropic 兼容的 API。
• 02自动识别架构与对话模板，可加载 Hugging Face 模型和 GGUF 文件。
• 03支持原地量化（ISQ）以及 GGUF、GPTQ、AWQ、FP8 等量化格式。
• 04在 CUDA 和 Apple Silicon 上通过 PagedAttention 与前缀缓存实现连续批处理。
• 05支持 LoRA、X-LoRA 适配器和多 GPU 推理。
• 06提供工具调用、Python 与 Shell 执行、网页搜索以及 MCP 客户端集成。

适用场景

• 在本地运行开源权重模型，并通过 OpenAI 或 Anthropic 兼容接口对外提供服务。
• 将大模型推理直接嵌入 Rust 或 Python 应用，无需单独部署服务。
• 在显存有限的 GPU 或 Apple Silicon 设备上运行量化模型。
• 构建可调用代码执行、Shell 命令或网页搜索工具的智能体。

快速上手

1. 1

   运行 README 中适合你平台的官方安装脚本

2. 2

   启动模型及其服务

   mistralrs serve -m Qwen/Qwen3-4B --quant 4
3. 3

   在浏览器中打开网页界面并发送消息

使用前须知

• !安装依赖远程安装脚本，而不是标准的包管理器安装。
• !CUDA、Metal、MKL、Accelerate 等加速器版本需要按入门指南单独配置。

标签

常见问题

mistral.rs 是什么？

基于 Rust 的大模型推理引擎，提供 OpenAI 与 Anthropic 兼容接口，支持量化与多模态模型。 mistral.rs 是用 Rust 编写的大模型推理引擎。它可以加载 Hugging Face 模型和 GGUF 文件，自动识别架构与对话模板，并在 CUDA、Metal 或 CPU 上运行。单个 `mistralrs serve` 进程即可提供 OpenAI 兼容的 `/v1` 接口和 Anthropic 兼容的 Messages 接口，并内置位于 `/ui` 的网页聊天界面。

mistral.rs 可以免费使用吗？用的什么许可证？

mistral.rs 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

mistral.rs 还在维护吗？

活跃维护中。mistral.rs 最近一次提交是在 2026年10月20日。

mistral.rs 适合用来做什么？

在本地运行开源权重模型，并通过 OpenAI 或 Anthropic 兼容接口对外提供服务。 将大模型推理直接嵌入 Rust 或 Python 应用，无需单独部署服务。 在显存有限的 GPU 或 Apple Silicon 设备上运行量化模型。 构建可调用代码执行、Shell 命令或网页搜索工具的智能体。

mistral.rs 怎么安装和运行？

运行 README 中适合你平台的官方安装脚本 启动模型及其服务: mistralrs serve -m Qwen/Qwen3-4B --quant 4 在浏览器中打开网页界面并发送消息

在哪里获取 mistral.rs？

源代码和安装说明在 GitHub 上：https://github.com/EricLBuehler/mistral.rs