Motor nativo en Swift que ejecuta un modelo Qwen3.8-Flash-Next de 105 GB en 4 bits en Macs con Apple Silicon y 16–64 GB, transmitiendo expertos desde el SSD.
Slotstream es un motor de inferencia local para Macs con Apple Silicon, escrito en Swift sobre MLX y Metal de Apple. Ejecuta un modelo de mezcla de expertos cuyos pesos superan ampliamente la RAM del sistema: los pesos compartidos se mantienen en memoria, mientras que los expertos necesarios para cada token se leen desde el SSD en una caché de tamaño limitado; los expertos más usados se mantienen en RAM. Una vez descargado el modelo, la inferencia se ejecuta por completo en el Mac, sin un entorno de ejecución de Python ni una cuenta en la nube.
El motor publicado está diseñado para Qwen3.8-Flash-Next de 4 bits en Macs con entre 16 y 64 GB de memoria. El modo automático determina al inicio el presupuesto de memoria, el tamaño de la caché, la decodificación especulativa y la ventana de contexto; además, un controlador reduce la caché cuando otras aplicaciones necesitan memoria. El proyecto ofrece una CLI, API HTTP compatibles con Ollama, OpenAI y Anthropic, y una biblioteca de Swift. El comando `slotstream launch` inicia Claude Code, Codex, Pi, opencode o Hermes ya conectados al servidor local.
El motor requiere macOS 14 o posterior y Apple Silicon; no es compatible con Windows, Linux ni Macs con procesadores Intel.
Ejecuta el script oficial de instalación indicado en el README
Comprueba la memoria y el espacio disponible en disco de tu Mac
slotstream doctorPide al modelo una primera respuesta (la primera vez que lo ejecutes, se descargará el modelo)
slotstream run --prompt "Why is the sky blue?"Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Servidor de inferencia local para Mac con Apple silicon que atiende a varios agentes de programación con IA a la vez, con decodificación por lotes y llamadas a herramientas restringidas por gramática.
Ejecuta modelos GGUF grandes de mezcla de expertos transmitiendo los pesos de los expertos desde un SSD, con llama.cpp, en equipos con menos RAM o VRAM de la que requiere el modelo.
Ejecuta modelos de IA abiertos localmente en Macs con Apple Silicon mediante MLX y los ofrece en un servidor compatible con la API de Anthropic para usar Claude Code sin conexión.
Servidor local nativo de LLM y contenido multimedia para Mac con Apple Silicon, con API compatibles con OpenAI, Anthropic y Ollama, sin necesidad de Python.
Framework de código abierto que ejecuta modelos MoE dispersos de gran tamaño en dispositivos de consumo al cargar pesos de expertos desde un SSD y predecir el enrutamiento.
API de Swift para MLX, el framework de arrays para machine learning en Apple silicon, que permite a los desarrolladores de Swift ejecutar investigación y experimentos de ML.