Michael-A-Kuykendall/shimmy

Что это?

Ключевые возможности

• 01Предоставляет эндпоинты в стиле OpenAI для chat completions, text completions, потоковой передачи и получения списка моделей.
• 02Напрямую загружает модели GGUF, а спецификации моделей формирует на основе метаданных GGUF.
• 03Работает через WebGPU на GPU NVIDIA, AMD, Intel и Apple без флагов выбора бэкенда.
• 04Предлагает опцию кэша KV в INT4, чтобы снизить потребление памяти на маломощных GPU.
• 05Поддерживает масштабирование RoPE с YaRN для увеличения размера окна контекста.
• 06Предоставляет CLI для запуска сервера и просмотра списка моделей.

Сценарии использования

• Запуск приватного офлайн-бэкенда для чата с инструментами, которые уже поддерживают API OpenAI.
• Запуск небольших квантованных моделей на потребительском GPU в ноутбуке или настольном компьютере.
• Развёртывание автономного бинарного файла для инференса без среды сборки Python или C++.
• Тестирование приложений через локальный эндпоинт, совместимый с OpenAI.

Быстрый старт

1. 1

   Установите Shimmy с помощью Cargo

   cargo install shimmy --locked
2. 2

   Запустите сервер с локальным файлом модели GGUF

   shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

Что важно знать

• !Полная поддержка нативного инференса есть только для моделей GGUF; инференс с SafeTensors пока остается в планах.
• !В README перечислены 26 сертифицированных сочетаний моделей и вариантов квантования, поэтому другие модели могут быть не сертифицированы.
• !В README указана лицензия MIT, а в метаданных — Apache-2.0. Перед использованием проверьте файл LICENSE.

Темы

Частые вопросы

Что такое shimmy?

Сервер инференса на чистом Rust в виде одного бинарного файла: запускает модели GGUF на любых GPU через WebGPU и предоставляет API, совместимый с OpenAI. Shimmy — локальный сервер инференса для моделей GGUF с эндпоинтами, совместимыми с OpenAI. К нему можно подключать существующие инструменты и SDK без изменений в коде. Shimmy поставляется одним бинарным файлом и не требует среды выполнения Python или инструментов сборки C++.

shimmy можно использовать бесплатно? Какая у него лицензия?

shimmy распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

shimmy всё ещё поддерживается?

Активно поддерживается. Последний коммит в shimmy — 19 окт. 2026 г..

Для чего можно использовать shimmy?

Запуск приватного офлайн-бэкенда для чата с инструментами, которые уже поддерживают API OpenAI. Запуск небольших квантованных моделей на потребительском GPU в ноутбуке или настольном компьютере. Развёртывание автономного бинарного файла для инференса без среды сборки Python или C++. Тестирование приложений через локальный эндпоинт, совместимый с OpenAI.

Как установить shimmy?

Установите Shimmy с помощью Cargo: cargo install shimmy --locked Запустите сервер с локальным файлом модели GGUF: shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

Где скачать shimmy?

Исходный код и инструкции по установке — на GitHub: https://github.com/Michael-A-Kuykendall/shimmy