Repolode
Enviar
Michael-A-Kuykendall

Michael-A-Kuykendall/shimmy

Servidor de inferencia en un único binario, escrito íntegramente en Rust, que ejecuta modelos GGUF en cualquier GPU mediante WebGPU y ofrece una API compatible con OpenAI.

Ver en GitHub
Estrellas
5,988
Forks
587
Issues abiertos
10
Último commit
hace 4 días

¿Qué es?

Shimmy es un servidor de inferencia local para modelos GGUF que ofrece endpoints compatibles con OpenAI, por lo que las herramientas y los SDK existentes pueden conectarse sin cambios en el código. Se distribuye como un único binario y no requiere un entorno de ejecución de Python ni una cadena de herramientas de C++.

Internamente, Shimmy se ejecuta sobre Airframe, un motor de transformers en Rust que ejecuta shaders de cómputo WGSL mediante WebGPU. Esto permite usar GPU de NVIDIA, AMD e Intel, gráficos integrados y Apple Silicon. El proyecto incluye 26 combinaciones de modelos y cuantización de 12 familias, entre ellas Llama, Qwen, Phi, Gemma y destilados de DeepSeek-R1; cada una supera sus propias pruebas de certificación.

Otras capacidades destacadas incluyen una opción de caché KV INT4 (TurboShimmy) para reducir el uso de memoria, escalado RoPE con YaRN para ampliar el contexto mediante la variable SHIMMY_MAX_CTX y resultados deterministas con el mismo modelo, semilla y parámetros.

Funciones clave

  • 01Ofrece completions de chat, completions de texto, streaming y listado de modelos mediante endpoints de estilo OpenAI.
  • 02Carga modelos GGUF directamente y obtiene sus especificaciones a partir de los metadatos de GGUF.
  • 03Se ejecuta con WebGPU en GPU de NVIDIA, AMD, Intel y Apple, sin indicadores de backend.
  • 04Ofrece una opción de caché KV INT4 para reducir el uso de memoria en GPU de menor capacidad.
  • 05Admite el escalado RoPE con YaRN para ampliar las ventanas de contexto.
  • 06Incluye una CLI para servir y listar modelos.

Casos de uso

  • Ejecutar un backend de chat privado y sin conexión para herramientas que ya usan la API de OpenAI.
  • Servir modelos cuantizados pequeños en una laptop o computadora de escritorio con una GPU de consumo.
  • Implementar un binario de inferencia autónomo sin un entorno de compilación de Python o C++.
  • Probar aplicaciones con un endpoint local compatible con OpenAI.

Inicio rápido

  1. 1

    Instala Shimmy con Cargo

    cargo install shimmy --locked
  2. 2

    Inicia el servidor con un archivo de modelo GGUF local

    shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435

Antes de usarlo

  • Solo los modelos GGUF tienen compatibilidad completa para la inferencia nativa; la inferencia con SafeTensors aún está pendiente en la hoja de ruta.
  • El README enumera 26 combinaciones certificadas de modelos y cuantización, por lo que es posible que otros modelos no estén certificados.
  • El README indica que la licencia es MIT, mientras que los metadatos indican Apache-2.0. Comprueba el archivo LICENSE antes de confiar en esa información.

En colecciones

Ejecuta LLM en local

Temas

#rust#webgpu#gguf#llm-inference#local-ai#openai-compatible#inference-server#api-server#command-line-tool#developer-tools

Preguntas frecuentes

¿Qué es shimmy?
Servidor de inferencia en un único binario, escrito íntegramente en Rust, que ejecuta modelos GGUF en cualquier GPU mediante WebGPU y ofrece una API compatible con OpenAI. Shimmy es un servidor de inferencia local para modelos GGUF que ofrece endpoints compatibles con OpenAI, por lo que las herramientas y los SDK existentes pueden conectarse sin cambios en el código. Se distribuye como un único binario y no requiere un entorno de ejecución de Python ni una cadena de herramientas de C++.
¿shimmy es gratuito? ¿Qué licencia tiene?
shimmy es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿shimmy sigue mantenido?
Mantenimiento activo. El último commit de shimmy fue el 19 oct 2026.
¿Para qué puedo usar shimmy?
Ejecutar un backend de chat privado y sin conexión para herramientas que ya usan la API de OpenAI. Servir modelos cuantizados pequeños en una laptop o computadora de escritorio con una GPU de consumo. Implementar un binario de inferencia autónomo sin un entorno de compilación de Python o C++. Probar aplicaciones con un endpoint local compatible con OpenAI.
¿Cómo se instala shimmy?
Instala Shimmy con Cargo: cargo install shimmy --locked Inicia el servidor con un archivo de modelo GGUF local: shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435
¿Dónde consigo shimmy?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Michael-A-Kuykendall/shimmy

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados