Repolode
Предложить
EricLBuehler

EricLBuehler/mistral.rs

Движок инференса LLM на Rust с API, совместимыми с OpenAI и Anthropic, квантованием, мультимодальными моделями и инструментами для агентов.

Open source альтернатива:OpenAI API

Открыть на GitHub
Звёзды
7,761
Форки
742
Открытые issues
415
Последний коммит
вчера

Что это?

mistral.rs — движок инференса LLM на Rust. Он загружает модели Hugging Face и файлы GGUF, автоматически определяет архитектуру и шаблон чата и запускает модели на CUDA, Metal или CPU. Один процесс `mistralrs serve` предоставляет эндпоинты `/v1`, совместимые с OpenAI, и эндпоинты Messages, совместимые с Anthropic, а также встроенный веб-интерфейс по адресу `/ui`.

Проект объединяет несколько возможностей, которые часто приходится искать в разных инструментах: квантование (ISQ, GGUF, GPTQ, AWQ, FP8 и другие форматы), PagedAttention и кэширование префиксов для пакетной обработки запросов, адаптеры LoRA и X-LoRA, а также инференс на нескольких GPU. Он работает с текстом, изображениями, видео и аудио, а также поддерживает генерацию речи и изображений и создание эмбеддингов для широкого набора архитектур моделей.

Помимо обслуживания запросов, проект включает агентный цикл с вызовом инструментов, изолированным выполнением Python и команд оболочки, веб-поиском и поддержкой MCP-клиента. SDK для Python и Rust позволяют запускать движок внутри приложения, не поднимая сервер.

Ключевые возможности

  • 01Предоставляет API, совместимые с OpenAI и Anthropic, из одного процесса.
  • 02Загружает модели Hugging Face и файлы GGUF, автоматически определяя архитектуру и шаблон чата.
  • 03Поддерживает квантование на лету, а также GGUF, GPTQ, AWQ, FP8 и другие форматы.
  • 04Использует PagedAttention и кэширование префиксов для непрерывной пакетной обработки на CUDA и Apple Silicon.
  • 05Поддерживает адаптеры LoRA и X-LoRA, а также инференс на нескольких GPU.
  • 06Предоставляет вызов инструментов, выполнение Python и команд оболочки, веб-поиск и интеграцию с MCP-клиентом.

Сценарии использования

  • Локальный запуск моделей с открытыми весами через эндпоинт, совместимый с OpenAI или Anthropic.
  • Встраивание инференса LLM в приложение на Rust или Python без отдельного сервера.
  • Запуск квантованных моделей при ограниченной видеопамяти или на Apple Silicon.
  • Создание агентов, которые с помощью вызова инструментов выполняют код, команды оболочки или веб-поиск.

Быстрый старт

  1. 1

    Запустите официальный скрипт установки для вашей платформы из README

  2. 2

    Запустите модель и её сервер

    mistralrs serve -m Qwen/Qwen3-4B --quant 4
  3. 3

    Откройте веб-интерфейс в браузере и отправьте сообщение

Что важно знать

  • Для установки используется удалённый скрипт, а не стандартный менеджер пакетов.
  • Для сборок под конкретные ускорители (CUDA, Metal, MKL, Accelerate) требуется отдельная настройка согласно руководству для начала работы.

Темы

#llm#inference#rust#quantization#openai-compatible#gguf#cuda#agents#uqff

Частые вопросы

Что такое mistral.rs?
Движок инференса LLM на Rust с API, совместимыми с OpenAI и Anthropic, квантованием, мультимодальными моделями и инструментами для агентов. mistral.rs — движок инференса LLM на Rust. Он загружает модели Hugging Face и файлы GGUF, автоматически определяет архитектуру и шаблон чата и запускает модели на CUDA, Metal или CPU. Один процесс `mistralrs serve` предоставляет эндпоинты `/v1`, совместимые с OpenAI, и эндпоинты Messages, совместимые с Anthropic, а также встроенный веб-интерфейс по адресу `/ui`.
mistral.rs можно использовать бесплатно? Какая у него лицензия?
mistral.rs распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
mistral.rs всё ещё поддерживается?
Активно поддерживается. Последний коммит в mistral.rs — 20 окт. 2026 г..
Для чего можно использовать mistral.rs?
Локальный запуск моделей с открытыми весами через эндпоинт, совместимый с OpenAI или Anthropic. Встраивание инференса LLM в приложение на Rust или Python без отдельного сервера. Запуск квантованных моделей при ограниченной видеопамяти или на Apple Silicon. Создание агентов, которые с помощью вызова инструментов выполняют код, команды оболочки или веб-поиск.
Как установить mistral.rs?
Запустите официальный скрипт установки для вашей платформы из README Запустите модель и её сервер: mistralrs serve -m Qwen/Qwen3-4B --quant 4 Откройте веб-интерфейс в браузере и отправьте сообщение
Где скачать mistral.rs?
Исходный код и инструкции по установке — на GitHub: https://github.com/EricLBuehler/mistral.rs

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты