Agrupa tus dispositivos en un clúster de IA para ejecutar modelos grandes localmente en varios Macs y otros equipos.
48 mil3,6 milPythonApache-2.0Actualizado hace 7 días
magnitudedev/magnitude
Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar modelos abiertos más rápido en Apple Silicon, NVIDIA, AMD o CPU.
Alternativa open source a:Ollama
- Estrellas
- 7,186
- Forks
- 494
- Issues abiertos
- 54
- Último commit
- anteayer
¿Qué es?
Magnitude es un motor de inferencia para ejecutar modelos de pesos abiertos de forma local. Al descargar un modelo, prueba distintas formas de distribuir el cálculo en el chip real, por ejemplo, cuántos hilos de GPU trabajan juntos y con cuánta anticipación se cargan los datos, y conserva la configuración más rápida que no altera la salida del modelo. El proyecto afirma que, en promedio, es aproximadamente 2 veces más rápido que Ollama con modelos locales populares en hardware Mac y NVIDIA.
Se distribuye como una aplicación de escritorio para macOS, Windows y Linux que incluye la CLI `magnitude`. En Linux y macOS, `magnitude server setup` lo configura como un servicio que se ejecuta al iniciar el sistema y ofrece acceso a navegadores y agentes en otras máquinas. Los usuarios pueden conectar agentes como Pi, OpenCode, Codex y Claude Code con un clic; cualquier otra aplicación puede usar la API compatible con OpenAI.
Los prompts, archivos y modelos permanecen en la máquina local, y no se necesita conexión a internet una vez descargado un modelo. El proyecto está bajo la licencia Apache 2.0.
Funciones clave
- 01Ajusta los kernels de cada modelo al chip local para encontrar configuraciones de ejecución más rápidas.
- 02Funciona con Apple Silicon, GPU de NVIDIA o AMD, o solo con CPU.
- 03Incluye un generador integrado de speculative decoding para cada modelo.
- 04Usa una caché KV cuantizada para reducir la memoria necesaria por sesión de agente.
- 05Comparte cachés de prefijos entre sesiones simultáneas.
- 06Ofrece una API compatible con OpenAI y conexiones de agentes con un clic.
Casos de uso
- Ejecutar LLM de pesos abiertos localmente en una Mac o estación de trabajo NVIDIA para agentes de programación.
- Alojar un modelo local en un servidor Linux o macOS al que puedan acceder varias máquinas.
- Mantener la privacidad de prompts y archivos evitando las API de inferencia en la nube.
Inicio rápido
- 1
Descarga Magnitude desde la página de versiones e instálalo
- 2
Abre la aplicación, elige un modelo recomendado en Discover y descárgalo
- 3
Conecta tu agente en Connections y empieza a usarlo
Antes de usarlo
- El ajuste del kernel se ejecuta al descargar un modelo y puede tardar hasta un minuto.
- La configuración del servidor solo está documentada para Linux y macOS.
Temas
Preguntas frecuentes
- ¿Qué es magnitude?
- Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar modelos abiertos más rápido en Apple Silicon, NVIDIA, AMD o CPU. Magnitude es un motor de inferencia para ejecutar modelos de pesos abiertos de forma local. Al descargar un modelo, prueba distintas formas de distribuir el cálculo en el chip real, por ejemplo, cuántos hilos de GPU trabajan juntos y con cuánta anticipación se cargan los datos, y conserva la configuración más rápida que no altera la salida del modelo. El proyecto afirma que, en promedio, es aproximadamente 2 veces más rápido que Ollama con modelos locales populares en hardware Mac y NVIDIA.
- ¿magnitude es gratuito? ¿Qué licencia tiene?
- magnitude es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿magnitude sigue mantenido?
- Mantenimiento activo. El último commit de magnitude fue el 19 oct 2026.
- ¿Para qué puedo usar magnitude?
- Ejecutar LLM de pesos abiertos localmente en una Mac o estación de trabajo NVIDIA para agentes de programación. Alojar un modelo local en un servidor Linux o macOS al que puedan acceder varias máquinas. Mantener la privacidad de prompts y archivos evitando las API de inferencia en la nube.
- ¿Cómo se instala magnitude?
- Descarga Magnitude desde la página de versiones e instálalo Abre la aplicación, elige un modelo recomendado en Discover y descárgalo Conecta tu agente en Connections y empieza a usarlo
- ¿Dónde consigo magnitude?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/magnitudedev/magnitude
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado hace 8 horas
Aplicación de escritorio de código abierto e interfaz web para ejecutar, ajustar y exportar LLMs y modelos de difusión localmente, además de una biblioteca de entrenamiento basada en código.
78,3 mil7,2 milPythonApache-2.0Actualizado hace 8 horas
Un motor de inferencia escrito íntegramente en C que ejecuta modelos MoE muy grandes en hardware convencional mediante la carga de expertos desde el disco según se necesitan.
42,8 mil4,8 milCApache-2.0Actualizado ayer
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado hace 8 horas
Una capa de gestión de KV cache que almacena, comparte y reutiliza cachés de atención de LLM entre motores de serving para reducir el tiempo hasta el primer token.
12,1 mil2,2 milPythonApache-2.0Actualizado hace 7 horas