Repolode
Enviar
beamivalice

beamivalice/sushi

Servidor local de inferencia de IA para Macs con Apple Silicon que ejecuta LLM cuantizados de alta calidad y pocos bits en formatos Sushi STQ y EXL3.

Ver en GitHub
Estrellas
431
Forks
36
Issues abiertos
7
Último commit
hace 19 horas

¿Qué es?

Sushi es un servidor local de IA para ejecutar modelos de lenguaje grandes cuantizados con pocos bits en Macs con Apple Silicon. Usa un formato personalizado, Sushi Trellis Quant (STQ), y un convertidor híbrido EXL3-Affine para crear paquetes de modelos comprimidos que mantienen una alta calidad de salida. El proyecto es un fork independiente de mlx-serve, de ddalcu, y puede ejecutarse de forma autónoma o como motor invitado dentro de mlx-serve. Requiere un chip M1 o posterior y macOS 26.2 o posterior.

El servidor escucha en 127.0.0.1:12345 y admite decodificación especulativa (MTP para Qwen y MiMo, DFlash2 para GLM), con la caché KV de 8 bits activada de forma predeterminada. Los paquetes incluyen modelos Qwen3.8 Flash-Next, MiMo-V2.6 Flash, GLM-5.3 Flash y DeepSeek-V4.1 Flash, con requisitos de memoria que van de 48 GB a 128 GB. Un modo de streaming mantiene solo una parte de los pesos en memoria y lee los expertos enrutados desde el SSD, de modo que los modelos pueden ejecutarse en Macs con menos RAM que el tamaño de sus pesos.

El servidor puede exponerse en una red local mediante una clave API. El proyecto también informa cifras de KLD y concordancia top-1 para varios paquetes, además de resultados de velocidad y evaluaciones de herramientas agénticas en hardware M5 Max.

Funciones clave

  • 01Ejecuta LLM cuantizados con pocos bits en los formatos personalizados STQ y EXL3-Affine en Apple Silicon.
  • 02Admite decodificación especulativa con MTP para Qwen y MiMo, y DFlash2 para GLM.
  • 03Transmite expertos enrutados desde el SSD para que los modelos puedan ejecutarse en Macs con menos memoria que el tamaño de sus pesos.
  • 04Usa de forma predeterminada una caché KV de 8 bits y escucha en un puerto local.
  • 05Puede ofrecer servicio a otros equipos de la red mediante una clave API Bearer.

Casos de uso

  • Ejecutar localmente modelos grandes cuantizados de programación o chat en un Mac con entre 48 GB y 128 GB de memoria.
  • Ofrecer a otros equipos de una red doméstica o de oficina un endpoint local compatible con OpenAI.
  • Comparar la calidad de cuantización y la velocidad de los paquetes de Qwen, GLM, MiMo y DeepSeek.

Inicio rápido

  1. 1

    Instala Sushi con Homebrew

    brew install beamivalice/tap/sushi
  2. 2

    Inicia el servidor con un paquete de modelos (sustituye <pack> por el nombre de un paquete del README)

    sushi serve <pack>

Antes de usarlo

  • Requiere Apple Silicon M1 o posterior y macOS 26.2 o posterior.
  • La mayoría de los paquetes de modelos necesitan entre 48 GB y 128 GB de memoria, y algunos requieren una configuración de streaming desde SSD para funcionar en Mac más pequeños.
  • El README indica que sushi tiene licencia MIT, pero los paquetes de modelos Qwen y MiMo usan licencias independientes, y la licencia detectada del repositorio no está clara.

En colecciones

Ejecuta LLM en localApps open source para Mac

Temas

#llm-inference#quantization#apple-silicon#local-llm#macos#speculative-decoding#zig

Preguntas frecuentes

¿Qué es sushi?
Servidor local de inferencia de IA para Macs con Apple Silicon que ejecuta LLM cuantizados de alta calidad y pocos bits en formatos Sushi STQ y EXL3. Sushi es un servidor local de IA para ejecutar modelos de lenguaje grandes cuantizados con pocos bits en Macs con Apple Silicon. Usa un formato personalizado, Sushi Trellis Quant (STQ), y un convertidor híbrido EXL3-Affine para crear paquetes de modelos comprimidos que mantienen una alta calidad de salida. El proyecto es un fork independiente de mlx-serve, de ddalcu, y puede ejecutarse de forma autónoma o como motor invitado dentro de mlx-serve. Requiere un chip M1 o posterior y macOS 26.2 o posterior.
¿sushi es gratuito? ¿Qué licencia tiene?
sushi es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿sushi sigue mantenido?
Mantenimiento activo. El último commit de sushi fue el 6 nov 2026.
¿Para qué puedo usar sushi?
Ejecutar localmente modelos grandes cuantizados de programación o chat en un Mac con entre 48 GB y 128 GB de memoria. Ofrecer a otros equipos de una red doméstica o de oficina un endpoint local compatible con OpenAI. Comparar la calidad de cuantización y la velocidad de los paquetes de Qwen, GLM, MiMo y DeepSeek.
¿Cómo se instala sushi?
Instala Sushi con Homebrew: brew install beamivalice/tap/sushi Inicia el servidor con un paquete de modelos (sustituye <pack> por el nombre de un paquete del README): sushi serve <pack>
¿Dónde consigo sushi?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/beamivalice/sushi

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados