Michael-A-Kuykendall/shimmy

어떤 프로젝트인가요?

핵심 기능

• 01OpenAI 스타일 엔드포인트에서 채팅 완성, 텍스트 완성, 스트리밍, 모델 목록 조회를 제공합니다.
• 02GGUF 메타데이터에서 모델 사양을 가져와 GGUF 모델을 직접 로드합니다.
• 03백엔드 플래그 없이 WebGPU를 통해 NVIDIA, AMD, Intel, Apple GPU에서 실행됩니다.
• 04메모리 사용량을 줄일 수 있는 INT4 KV 캐시 옵션을 제공해 소형 GPU에서도 사용할 수 있습니다.
• 05컨텍스트 윈도우를 확장하는 YaRN RoPE 스케일링을 지원합니다.
• 06모델을 실행하고 목록을 조회할 수 있는 CLI를 제공합니다.

활용 사례

• 이미 OpenAI API를 지원하는 도구에 사용할 비공개 오프라인 채팅 백엔드 실행
• 일반 소비자용 GPU가 탑재된 노트북이나 데스크톱에서 소형 양자화 모델 제공
• Python 또는 C++ 빌드 환경 없이 독립 실행형 추론 바이너리 배포
• 로컬 OpenAI 호환 엔드포인트를 대상으로 애플리케이션 테스트

빠른 시작

1. 1

   Cargo로 Shimmy를 설치합니다

   cargo install shimmy --locked
2. 2

   로컬 GGUF 모델 파일로 서버를 시작합니다

   shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

사용 전 알아둘 점

• !네이티브 추론은 GGUF 모델만 완전히 지원하며, SafeTensors 추론은 아직 로드맵에 포함된 작업입니다.
• !README에는 인증된 모델 및 양자화 조합이 26개 나열되어 있으므로, 다른 모델은 인증되지 않았을 수 있습니다.
• !README에는 MIT 라이선스로 표시되어 있지만 메타데이터에는 Apache-2.0으로 표시되어 있으므로, 사용하기 전에 LICENSE 파일을 확인하세요.

토픽

자주 묻는 질문

shimmy은(는) 무엇인가요?

WebGPU를 통해 모든 GPU에서 GGUF 모델을 실행하고 OpenAI 호환 API를 제공하는 단일 바이너리 기반 순수 Rust 추론 서버입니다. Shimmy는 GGUF 모델용 로컬 추론 서버로, OpenAI 호환 엔드포인트를 제공하므로 기존 도구와 SDK에서 코드를 바꾸지 않고 연결할 수 있습니다. 단일 바이너리로 배포되며 Python 런타임이나 C++ 툴체인이 필요하지 않습니다.

shimmy은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

shimmy은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

shimmy은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. shimmy의 마지막 커밋은 2026년 10월 19일입니다.

shimmy은(는) 어디에 사용할 수 있나요?

이미 OpenAI API를 지원하는 도구에 사용할 비공개 오프라인 채팅 백엔드 실행 일반 소비자용 GPU가 탑재된 노트북이나 데스크톱에서 소형 양자화 모델 제공 Python 또는 C++ 빌드 환경 없이 독립 실행형 추론 바이너리 배포 로컬 OpenAI 호환 엔드포인트를 대상으로 애플리케이션 테스트

shimmy는 어떻게 설치하나요?

Cargo로 Shimmy를 설치합니다: cargo install shimmy --locked 로컬 GGUF 모델 파일로 서버를 시작합니다: shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

shimmy은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Michael-A-Kuykendall/shimmy