Repolode
Enviar
Michael-A-Kuykendall

Michael-A-Kuykendall/shimmy

Servidor de inferência em um único binário, escrito inteiramente em Rust, que executa modelos GGUF em qualquer GPU via WebGPU e oferece uma API compatível com a OpenAI.

Ver no GitHub
Estrelas
5,988
Forks
587
Issues abertas
10
Último commit
há 4 dias

O que é?

Shimmy é um servidor local de inferência para modelos GGUF que oferece endpoints compatíveis com a OpenAI, permitindo que ferramentas e SDKs existentes se conectem a ele sem alterações no código. Ele é distribuído como um único binário e não precisa de runtime do Python nem de toolchain de C++.

Por baixo dos panos, Shimmy usa o Airframe, um mecanismo de transformers em Rust que executa shaders de computação WGSL via WebGPU. Isso permite usar GPUs da NVIDIA, AMD e Intel, gráficos integrados e Apple Silicon. O projeto lista 26 combinações de modelos e quantizações distribuídas por 12 famílias, incluindo Llama, Qwen, Phi, Gemma e destilações do DeepSeek-R1, cada uma aprovada em suas próprias verificações de certificação.

Outros recursos de destaque incluem uma opção de cache KV INT4 (TurboShimmy) para reduzir o uso de memória, escalonamento YaRN RoPE para aumentar o contexto por meio da variável SHIMMY_MAX_CTX e saída determinística para o mesmo modelo, seed e parâmetros.

Recursos principais

  • 01Oferece endpoints no estilo da OpenAI para chat completions, text completions, streaming e listagem de modelos.
  • 02Carrega modelos GGUF diretamente, com especificações de modelo derivadas dos metadados GGUF.
  • 03Executa via WebGPU em GPUs da NVIDIA, AMD, Intel e Apple, sem flags de backend.
  • 04Oferece uma opção de cache KV INT4 para reduzir o uso de memória em GPUs menores.
  • 05Oferece escalonamento YaRN RoPE para ampliar as janelas de contexto.
  • 06Disponibiliza uma CLI para servir e listar modelos.

Casos de uso

  • Executar um backend de chat privado e offline para ferramentas que já usam a API da OpenAI.
  • Servir modelos quantizados pequenos em um laptop ou desktop com GPU para consumidores.
  • Implantar um binário de inferência independente, sem ambiente de build de Python ou C++.
  • Testar aplicações com um endpoint local compatível com a OpenAI.

Início rápido

  1. 1

    Instale o Shimmy com Cargo

    cargo install shimmy --locked
  2. 2

    Inicie o servidor com um arquivo de modelo GGUF local

    shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

Antes de usar

  • Apenas modelos GGUF têm suporte completo para inferência nativa; a inferência com SafeTensors ainda está nos planos.
  • O README lista 26 combinações certificadas de modelos e quantização, portanto outros modelos podem não ser certificados.
  • O README informa a licença MIT, enquanto os metadados indicam Apache-2.0. Confira o arquivo LICENSE antes de confiar nessa informação.

Em coleções

Rode LLMs localmente

Tópicos

#rust#webgpu#gguf#llm-inference#local-ai#openai-compatible#inference-server#api-server#command-line-tool#developer-tools

Perguntas frequentes

O que é shimmy?
Servidor de inferência em um único binário, escrito inteiramente em Rust, que executa modelos GGUF em qualquer GPU via WebGPU e oferece uma API compatível com a OpenAI. Shimmy é um servidor local de inferência para modelos GGUF que oferece endpoints compatíveis com a OpenAI, permitindo que ferramentas e SDKs existentes se conectem a ele sem alterações no código. Ele é distribuído como um único binário e não precisa de runtime do Python nem de toolchain de C++.
shimmy é gratuito? Qual é a licença?
shimmy é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
shimmy ainda é mantido?
Manutenção ativa. O último commit de shimmy foi em 19 de out. de 2026.
Para que posso usar shimmy?
Executar um backend de chat privado e offline para ferramentas que já usam a API da OpenAI. Servir modelos quantizados pequenos em um laptop ou desktop com GPU para consumidores. Implantar um binário de inferência independente, sem ambiente de build de Python ou C++. Testar aplicações com um endpoint local compatível com a OpenAI.
Como instalar shimmy?
Instale o Shimmy com Cargo: cargo install shimmy --locked Inicie o servidor com um arquivo de modelo GGUF local: shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435
Onde consigo shimmy?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Michael-A-Kuykendall/shimmy

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados