EricLBuehler/mistral.rs

어떤 프로젝트인가요?

핵심 기능

• 01하나의 프로세스에서 OpenAI 호환 및 Anthropic 호환 API를 제공합니다.
• 02Hugging Face 모델과 GGUF 파일을 불러오고 아키텍처와 템플릿을 자동으로 감지합니다.
• 03인시투 양자화와 GGUF, GPTQ, AWQ, FP8 및 기타 형식을 지원합니다.
• 04CUDA와 Apple Silicon에서 연속 배치를 처리하기 위해 PagedAttention과 prefix caching을 사용합니다.
• 05LoRA 및 X-LoRA 어댑터와 멀티 GPU 추론을 지원합니다.
• 06도구 호출, Python 및 셸 실행, 웹 검색, MCP 클라이언트 연동을 제공합니다.

활용 사례

• 오픈 웨이트 모델을 로컬에서 실행하고 OpenAI 또는 Anthropic 호환 엔드포인트로 제공하기.
• 별도의 서버 없이 Rust 또는 Python 애플리케이션에 LLM 추론 기능을 통합하기.
• GPU 메모리가 제한된 환경이나 Apple Silicon에서 양자화 모델을 서빙하기.
• 도구 호출로 코드 실행, 셸 명령 실행 또는 웹 검색을 수행하는 에이전트 구축하기.

빠른 시작

1. 1

   README에서 플랫폼에 맞는 공식 설치 스크립트를 실행합니다

2. 2

   모델과 해당 서버를 시작합니다

   mistralrs serve -m Qwen/Qwen3-4B --quant 4
3. 3

   브라우저에서 웹 UI를 열고 메시지를 보냅니다

사용 전 알아둘 점

• !표준 패키지 관리자 대신 원격 설치 스크립트를 사용해 설치합니다.
• !가속기별 빌드(CUDA, Metal, MKL, Accelerate)는 시작하기 가이드에 따라 별도로 설정해야 합니다.

토픽

자주 묻는 질문

mistral.rs은(는) 무엇인가요?

양자화, 멀티모달 모델, 에이전트 도구를 지원하며 OpenAI 및 Anthropic 호환 API를 제공하는 Rust 기반 LLM 추론 엔진입니다. mistral.rs는 Rust로 작성된 LLM 추론 엔진입니다. Hugging Face 모델과 GGUF 파일을 불러오고 아키텍처와 채팅 템플릿을 자동으로 감지하며, CUDA, Metal 또는 CPU에서 실행합니다. `mistralrs serve` 프로세스 하나로 OpenAI 호환 `/v1` 엔드포인트와 Anthropic 호환 Messages 엔드포인트를 제공하고, `/ui`에서 사용할 수 있는 웹 UI도 내장되어 있습니다.

mistral.rs은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

mistral.rs은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

mistral.rs은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. mistral.rs의 마지막 커밋은 2026년 10월 20일입니다.

mistral.rs은(는) 어디에 사용할 수 있나요?

오픈 웨이트 모델을 로컬에서 실행하고 OpenAI 또는 Anthropic 호환 엔드포인트로 제공하기. 별도의 서버 없이 Rust 또는 Python 애플리케이션에 LLM 추론 기능을 통합하기. GPU 메모리가 제한된 환경이나 Apple Silicon에서 양자화 모델을 서빙하기. 도구 호출로 코드 실행, 셸 명령 실행 또는 웹 검색을 수행하는 에이전트 구축하기.

mistral.rs는 어떻게 설치하나요?

README에서 플랫폼에 맞는 공식 설치 스크립트를 실행합니다 모델과 해당 서버를 시작합니다: mistralrs serve -m Qwen/Qwen3-4B --quant 4 브라우저에서 웹 UI를 열고 메시지를 보냅니다

mistral.rs은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/EricLBuehler/mistral.rs