mw00/project-maya

¿Qué es?

Funciones clave

• 01El almacenamiento de expertos por niveles mantiene los más usados en la VRAM, los siguientes en la RAM y el resto en un SSD NVMe, y los mueve a medida que cambia la conversación.
• 02Incluye cuantizaciones para GLM-5.3-Flash (Maya-S/S24/M/M-Derisked/L), además de motores independientes para DeepSeek-V4.1-Flash-1017 y un MiniMax-M3.1-Flash experimental.
• 03API /v1 compatible con OpenAI y endpoint /v1/messages compatible con Anthropic, para que herramientas como Claude Code puedan conectarse al servidor local.
• 04/v1/responses admite conversaciones de texto e imágenes, streaming, llamadas a herramientas de función, respuestas validadas mediante esquemas y tareas en segundo plano cancelables.
• 05Chat en el navegador con instrucciones por chat, edición y regeneración, vistas previas HTML y monitorización en tiempo real del modelo y el hardware.
• 06Funciona con entre 1 y 16 GPU NVIDIA (compute capability 7.0+); AMD ROCm 7 y Windows 10/11 son experimentales.
• 07Cuatro niveles de razonamiento (Off, Low, High, Max), configurables globalmente o por solicitud, y decodificación paralela de hasta 8 solicitudes a la vez.
• 08El streaming de KV mantiene las cachés de atención en la RAM y usa una ventana en la VRAM, de modo que un contexto de 1M tokens cabe en una sola RTX 3090.
• 09--calibrate ajusta el motor al equipo en 10-15 minutos; --report genera un informe del hardware y la velocidad para adjuntarlo a informes de errores.

Casos de uso

• Alojar de forma privada un gran modelo MoE en una estación de trabajo o un servidor pequeño cuando los datos no deben salir del equipo.
• Conectar agentes de programación como Claude Code a un modelo local mediante el endpoint compatible con Anthropic.
• Compartir un equipo entre varios desarrolladores o sesiones de agentes mediante solicitudes en paralelo.
• Mantener conversaciones con documentos largos de hasta 1M tokens en una sola GPU de consumo usando streaming de KV.
• Comparar niveles de cuantización según la conservación de precisión y el uso de memoria indicados antes de descargarlos.
• Probar la inferencia local de modelos grandes en GPU AMD o en una estación de trabajo Windows, en lugar de un equipo Linux con CUDA.

Inicio rápido

1. 1

   Clona el repositorio y abre su carpeta

2. 2

   Ejecuta el script de configuración y elige un modelo

   ./setup.sh --setup
3. 3

   Inicia el servidor y chatea desde el navegador

Antes de usarlo

• !Necesita una configuración con una GPU NVIDIA potente; la compatibilidad con AMD y Windows es experimental.
• !Los archivos de modelo son muy grandes, desde unos 94 GB hasta más de 500 GB, y requieren almacenamiento local rápido.
• !Algunas opciones de modelo, como Maya-M-Derisked y MiniMax-M3.1-Flash, están marcadas como experimentales.

En colecciones

Temas

Preguntas frecuentes

¿Qué es project-maya?

Motor de inferencia autoalojado que ejecuta grandes modelos MoE, como GLM-5.3-Flash, en tu propia GPU mediante API compatibles con OpenAI. Project Maya es un motor de inferencia local y un servidor para ejecutar grandes modelos de mezcla de expertos en el hardware que ya tienes, en lugar de en un centro de datos. Sus motores están diseñados para GLM-5.3-Flash (321B parámetros, unos 18B activos por token) y DeepSeek-V4.1-Flash-1017 (748B). Los expertos que más se usan permanecen en la VRAM, los siguientes en la RAM y el resto se leen desde un SSD NVMe; al iniciarse, el motor mide la GPU, la CPU, la RAM y el disco, y se adapta a ese hardware.

¿project-maya es gratuito? ¿Qué licencia tiene?

project-maya es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿project-maya sigue mantenido?

Mantenimiento activo. El último commit de project-maya fue el 6 nov 2026.

¿Para qué puedo usar project-maya?

Alojar de forma privada un gran modelo MoE en una estación de trabajo o un servidor pequeño cuando los datos no deben salir del equipo. Conectar agentes de programación como Claude Code a un modelo local mediante el endpoint compatible con Anthropic. Compartir un equipo entre varios desarrolladores o sesiones de agentes mediante solicitudes en paralelo. Mantener conversaciones con documentos largos de hasta 1M tokens en una sola GPU de consumo usando streaming de KV. Comparar niveles de cuantización según la conservación de precisión y el uso de memoria indicados antes de descargarlos. Probar la inferencia local de modelos grandes en GPU AMD o en una estación de trabajo Windows, en lugar de un equipo Linux con CUDA.

¿Cómo se instala project-maya?

Clona el repositorio y abre su carpeta Ejecuta el script de configuración y elige un modelo: ./setup.sh --setup Inicia el servidor y chatea desde el navegador

¿Dónde consigo project-maya?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mw00/project-maya