mw00/project-maya

O que é?

Recursos principais

• 01O armazenamento em camadas dos experts mantém os mais usados na VRAM, os seguintes na RAM e o restante em um SSD NVMe, movendo-os conforme a conversa muda.
• 02Inclui quants para GLM-5.3-Flash (Maya-S/S24/M/M-Derisked/L) e motores separados para DeepSeek-V4.1-Flash-1017 e o MiniMax-M3.1-Flash experimental.
• 03API /v1 compatível com OpenAI e endpoint /v1/messages compatível com Anthropic, permitindo que ferramentas como Claude Code se conectem ao servidor local.
• 04/v1/responses oferece suporte a conversas com texto e imagens, streaming, chamadas de ferramentas de função, saída validada por schema e tarefas em segundo plano que podem ser canceladas.
• 05Chat no navegador com instruções por conversa, edição e regeneração, prévias de HTML e monitoramento em tempo real do modelo e do hardware.
• 06Funciona com 1 a 16 GPUs NVIDIA (compute capability 7.0+); AMD ROCm 7 e Windows 10/11 são experimentais.
• 07Quatro níveis de raciocínio (Off, Low, High, Max), configuráveis globalmente ou por solicitação, além de decodificação paralela de até 8 solicitações ao mesmo tempo.
• 08O streaming de KV mantém os caches de atenção na RAM com uma janela na VRAM, permitindo um contexto de 1M de tokens em uma única RTX 3090.
• 09--calibrate ajusta o motor à máquina em 10 a 15 minutos; --report gera um relatório de hardware e velocidade para incluir em relatos de bugs.

Casos de uso

• Hospedar em particular um grande modelo MoE em uma workstation ou servidor pequeno quando os dados não podem sair da máquina.
• Conectar agentes de programação como Claude Code a um modelo local pelo endpoint compatível com Anthropic.
• Compartilhar uma máquina entre vários desenvolvedores ou sessões de agentes usando solicitações paralelas.
• Executar conversas com documentos longos, de até 1M de tokens, em uma única GPU de consumo com streaming de KV.
• Comparar níveis de quantização pela retenção de precisão e pelo uso de memória informados antes de baixar.
• Experimentar a inferência local de modelos grandes em GPUs AMD ou em uma workstation Windows, em vez de usar uma máquina Linux com CUDA.

Início rápido

1. 1

   Clone o repositório e abra a pasta

2. 2

   Execute o script de configuração e escolha um modelo

   ./setup.sh --setup
3. 3

   Inicie o servidor e converse pelo navegador

Antes de usar

• !É necessário um ambiente com uma GPU NVIDIA potente; o suporte a AMD e Windows é experimental.
• !Os arquivos dos modelos são muito grandes, de cerca de 94 GB a mais de 500 GB, e exigem armazenamento local rápido.
• !Algumas opções de modelo, como Maya-M-Derisked e MiniMax-M3.1-Flash, estão marcadas como experimentais.

Em coleções

Tópicos

Perguntas frequentes

O que é project-maya?

Motor de inferência auto-hospedado que executa grandes modelos MoE, como GLM-5.3-Flash, na sua própria GPU, com APIs compatíveis com OpenAI. O Project Maya é um motor de inferência local e um servidor para executar grandes modelos mixture-of-experts no hardware que você já tem, em vez de usar um datacenter. Seus motores são voltados para GLM-5.3-Flash (321B parâmetros, cerca de 18B ativos por token) e DeepSeek-V4.1-Flash-1017 (748B). Os experts mais usados ficam na VRAM, os seguintes na RAM e o restante é lido de um SSD NVMe; ao iniciar, o motor mede as GPUs, a CPU, a RAM e o disco e se ajusta a eles.

project-maya é gratuito? Qual é a licença?

project-maya é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

project-maya ainda é mantido?

Manutenção ativa. O último commit de project-maya foi em 5 de nov. de 2026.

Para que posso usar project-maya?

Hospedar em particular um grande modelo MoE em uma workstation ou servidor pequeno quando os dados não podem sair da máquina. Conectar agentes de programação como Claude Code a um modelo local pelo endpoint compatível com Anthropic. Compartilhar uma máquina entre vários desenvolvedores ou sessões de agentes usando solicitações paralelas. Executar conversas com documentos longos, de até 1M de tokens, em uma única GPU de consumo com streaming de KV. Comparar níveis de quantização pela retenção de precisão e pelo uso de memória informados antes de baixar. Experimentar a inferência local de modelos grandes em GPUs AMD ou em uma workstation Windows, em vez de usar uma máquina Linux com CUDA.

Como instalar project-maya?

Clone o repositório e abra a pasta Execute o script de configuração e escolha um modelo: ./setup.sh --setup Inicie o servidor e converse pelo navegador

Onde consigo project-maya?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mw00/project-maya