Michael-A-Kuykendall/shimmy

これは何？

主な機能

• 01OpenAI形式のエンドポイントで、チャット補完、テキスト補完、ストリーミング、モデル一覧を提供します。
• 02GGUFメタデータからモデル仕様を取得し、GGUFモデルを直接読み込みます。
• 03バックエンドの指定なしで、WebGPUを通じてNVIDIA、AMD、Intel、AppleのGPU上で動作します。
• 04小型GPUでのメモリ使用量を抑えるINT4 KVキャッシュオプションを利用できます。
• 05コンテキストウィンドウを拡張するYaRN RoPEスケーリングに対応しています。
• 06モデルの起動と一覧表示に使えるCLIを提供します。

ユースケース

• OpenAI APIに対応済みのツール向けに、プライベートでオフラインのチャットバックエンドを動かす。
• 一般向けのGPU搭載ノートPCやデスクトップで、小型の量子化モデルを提供する。
• PythonやC++のビルド環境なしで、自己完結型の推論バイナリをデプロイする。
• ローカルのOpenAI互換エンドポイントを使ってアプリケーションをテストする。

クイックスタート

1. 1

   Cargo で Shimmy をインストールする

   cargo install shimmy --locked
2. 2

   ローカルの GGUF モデルファイルを使ってサーバーを起動する

   shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

使う前に知っておきたいこと

• !ネイティブ推論で完全にサポートされているのは GGUF モデルのみです。SafeTensors の推論はまだロードマップ上の作業です。
• !README には認定済みのモデルと量子化の組み合わせが26種類記載されていますが、それ以外のモデルは認定されていない可能性があります。
• !README では MIT ライセンスと記載されていますが、メタデータでは Apache-2.0 とされています。利用する前に LICENSE ファイルを確認してください。

収録されている特集

トピック

よくある質問

shimmy とは？

WebGPU経由であらゆるGPU上のGGUFモデルを実行し、OpenAI互換APIを提供する、単一バイナリの純Rust製推論サーバー。 ShimmyはGGUFモデル向けのローカル推論サーバーです。OpenAI互換のエンドポイントを提供するため、既存のツールやSDKからコードを変更せずに接続できます。単一バイナリとして配布され、PythonランタイムやC++ツールチェーンは不要です。

shimmy は無料で使えますか？ライセンスは？

shimmy は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

shimmy は今もメンテナンスされていますか？

活発にメンテナンス中。shimmy の最終コミットは 2026年10月19日 です。

shimmy は何に使えますか？

OpenAI APIに対応済みのツール向けに、プライベートでオフラインのチャットバックエンドを動かす。 一般向けのGPU搭載ノートPCやデスクトップで、小型の量子化モデルを提供する。 PythonやC++のビルド環境なしで、自己完結型の推論バイナリをデプロイする。 ローカルのOpenAI互換エンドポイントを使ってアプリケーションをテストする。

shimmy のインストール方法は？

Cargo で Shimmy をインストールする: cargo install shimmy --locked ローカルの GGUF モデルファイルを使ってサーバーを起動する: shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

shimmy はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/Michael-A-Kuykendall/shimmy