Servidor de inferencia de LLM en Rust para modelos mixture-of-experts más grandes que la GPU, con una API HTTP compatible con llama-server, en GPU NVIDIA y Apple Silicon.
61+1 esta semana7RustMITBien mantenidoActualizado hace 10 horas
wici-ai/inferssd
Ejecuta modelos GGUF grandes de mezcla de expertos transmitiendo los pesos de los expertos desde un SSD, con llama.cpp, en equipos con menos RAM o VRAM de la que requiere el modelo.
- Estrellas
- 355
- Forks
- 55
- Issues abiertos
- 8
- Último commit
- hace 8 horas
¿Qué es?
InferSSD es un motor de inferencia para modelos de lenguaje grandes de mezcla de expertos (MoE) que superan la RAM o VRAM del equipo donde se ejecutan. Está basado en llama.cpp, carga archivos GGUF estándar y transmite desde el SSD los pesos de los expertos a medida que se necesitan, en lugar de mantener todo el modelo en memoria.
El proyecto ofrece un modo de chat en la terminal (`inferssd cli`) y un modo de servidor (`inferssd serve`) que incluye una interfaz de chat en el navegador y una API compatible con OpenAI. Actualmente admite DeepSeek-V4.1-Flash-1017 y Muse-Spark-Open, y funciona en macOS con Apple Silicon y Metal, y en Linux con NVIDIA CUDA. La compatibilidad con Windows figura como en desarrollo.
La instalación se realiza desde el código fuente con un único script de shell que compila el motor para la CPU y GPU locales; el proceso tarda unos minutos. En el primer inicio se descargan los archivos del modelo, que ocupan aproximadamente 470 GiB en el caso de DeepSeek, en el directorio que elijas.
Funciones clave
- 01Ejecuta modelos MoE más grandes que la RAM o VRAM disponible transmitiendo los expertos desde el SSD.
- 02Carga archivos de modelo GGUF estándar basados en llama.cpp.
- 03Ofrece un modo de chat en la terminal y una interfaz web de chat en el navegador.
- 04Expone una API compatible con OpenAI en un endpoint local.
- 05Es compatible con Apple Silicon (Metal) y Linux con NVIDIA CUDA.
Casos de uso
- Ejecutar un modelo MoE grande en una laptop o estación de trabajo con memoria limitada.
- Exponer un endpoint local compatible con OpenAI para herramientas que esperan la API de OpenAI.
- Experimentar con inferencia respaldada por SSD en GPU de consumo o equipos Apple Silicon.
Inicio rápido
- 1
Ejecuta el script de instalación oficial del README (compila desde el código fuente y tarda entre 2 y 12 minutos).
- 2
Chatea con un modelo desde la terminal.
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF - 3
O inicia la interfaz web y la API compatible con OpenAI en http://127.0.0.1:8080.
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
Antes de usarlo
- Solo es compatible con macOS en Apple Silicon y Linux con una GPU NVIDIA; la compatibilidad con Windows sigue en desarrollo.
- Aún no hay paquetes precompilados, así que se compila en tu equipo durante la instalación.
- La primera ejecución descarga unos 470 GiB de archivos del modelo.
- En Linux también se necesitan el toolkit de CUDA, los encabezados de liburing y systemd con cgroup v2.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es inferssd?
- Ejecuta modelos GGUF grandes de mezcla de expertos transmitiendo los pesos de los expertos desde un SSD, con llama.cpp, en equipos con menos RAM o VRAM de la que requiere el modelo. InferSSD es un motor de inferencia para modelos de lenguaje grandes de mezcla de expertos (MoE) que superan la RAM o VRAM del equipo donde se ejecutan. Está basado en llama.cpp, carga archivos GGUF estándar y transmite desde el SSD los pesos de los expertos a medida que se necesitan, en lugar de mantener todo el modelo en memoria.
- ¿inferssd es gratuito? ¿Qué licencia tiene?
- inferssd es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿inferssd sigue mantenido?
- Mantenimiento activo. El último commit de inferssd fue el 7 nov 2026.
- ¿Para qué puedo usar inferssd?
- Ejecutar un modelo MoE grande en una laptop o estación de trabajo con memoria limitada. Exponer un endpoint local compatible con OpenAI para herramientas que esperan la API de OpenAI. Experimentar con inferencia respaldada por SSD en GPU de consumo o equipos Apple Silicon.
- ¿Cómo se instala inferssd?
- Ejecuta el script de instalación oficial del README (compila desde el código fuente y tarda entre 2 y 12 minutos). Chatea con un modelo desde la terminal.: inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF O inicia la interfaz web y la API compatible con OpenAI en http://127.0.0.1:8080.: inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
- ¿Dónde consigo inferssd?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/wici-ai/inferssd
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor nativo en Swift que ejecuta un modelo Qwen3.8-Flash-Next de 105 GB en 4 bits en Macs con Apple Silicon y 16–64 GB, transmitiendo expertos desde el SSD.
656+20 esta semana54SwiftMITBien mantenidoActualizado hace 3 días
Motor local de inferencia de LLM escrito en Zig que sirve modelos en GPU Apple Silicon Metal y NVIDIA CUDA, sin Python ni MLX.
1,7 mil+124 esta semana362ZigApache-2.0Bien mantenidoActualizado hace 4 horas
Un motor de inferencia en Rust para ejecutar modelos de IA directamente en aplicaciones, con ejecución en el dispositivo en dispositivos Apple y modelos en la nube opcionales.
3,2 mil+101 esta semana223RustMITBien mantenidoActualizado hace 5 horas
Bindings de Rust para llama.cpp que permiten cargar y ejecutar modelos de lenguaje GGUF localmente mediante el crate llama-cpp-2.
665+1 esta semana261RustApache-2.0Bien mantenidoActualizado hace 3 días
Herramienta en Go que analiza archivos de modelos GGUF de forma remota y estima su uso de RAM/VRAM y los tokens por segundo máximos antes de descargarlos.
310+1 esta semana31GoMITBien mantenidoActualizado hace 9 días