mw00/project-maya

Что это?

Ключевые возможности

• 01Иерархическое хранение экспертов держит часто используемых экспертов в VRAM, следующих — в RAM, а остальных — на NVMe SSD, перемещая их по мере изменения диалога.
• 02В комплект входят кванты GLM-5.3-Flash (Maya-S/S24/M/M-Derisked/L), а также отдельные движки для DeepSeek-V4.1-Flash-1017 и экспериментальной MiniMax-M3.1-Flash.
• 03API /v1, совместимый с OpenAI, и эндпоинт /v1/messages, совместимый с Anthropic: к локальному серверу можно подключить такие инструменты, как Claude Code.
• 04/v1/responses поддерживает текстовые диалоги и диалоги с изображениями, потоковую передачу, вызовы функциональных инструментов, проверку вывода по схеме и отменяемые фоновые задачи.
• 05Браузерный чат с отдельными инструкциями для каждого диалога, редактированием и повторной генерацией ответов, HTML-превью и мониторингом модели и оборудования в реальном времени.
• 06Работает на 1–16 NVIDIA GPU (compute capability 7.0+); поддержка AMD ROCm 7 и Windows 10/11 экспериментальная.
• 07Четыре уровня рассуждений (Off, Low, High, Max), которые можно задавать глобально или для отдельного запроса, и параллельная обработка до 8 запросов.
• 08Потоковая передача KV-кэша хранит кэши внимания в RAM, оставляя окно в VRAM, поэтому контекст длиной 1M токенов помещается на одной RTX 3090.
• 09Параметр --calibrate настраивает движок под машину за 10–15 минут; --report формирует отчёт об оборудовании и скорости для баг-репортов.

Сценарии использования

• Локальный хостинг крупной MoE-модели на рабочей станции или небольшом сервере, когда данные не должны покидать машину.
• Подключение агентам для работы с кодом, например Claude Code, локальной модели через эндпоинт, совместимый с Anthropic.
• Совместное использование одной машины несколькими разработчиками или сессиями агентов благодаря параллельной обработке запросов.
• Работа с длинными документами в диалогах с контекстом до 1M токенов на одной потребительской GPU с потоковой передачей KV-кэша.
• Сравнение вариантов квантования по заявленному сохранению точности и объёму памяти до загрузки.
• Проверка локального инференса крупных моделей на GPU AMD или рабочей станции с Windows вместо системы с Linux и CUDA.

Быстрый старт

1. 1

   Клонируйте репозиторий и откройте его папку

2. 2

   Запустите скрипт настройки и выберите модель

   ./setup.sh --setup
3. 3

   Запустите сервер и общайтесь в браузере

Что важно знать

• !Требуется мощная конфигурация с GPU NVIDIA; поддержка AMD и Windows экспериментальная.
• !Файлы моделей очень большие — от примерно 94 ГБ до более чем 500 ГБ — и требуют быстрого локального хранилища.
• !Некоторые варианты моделей, например Maya-M-Derisked и MiniMax-M3.1-Flash, помечены как экспериментальные.

В подборках

Темы

Частые вопросы

Что такое project-maya?

Локальный движок инференса для запуска крупных MoE-моделей, например GLM-5.3-Flash, на собственных GPU с API, совместимым с OpenAI. Project Maya — локальный движок инференса и сервер для запуска крупных моделей со смесью экспертов на собственном оборудовании, а не в дата-центре. Движки рассчитаны на GLM-5.3-Flash (321B параметров, около 18B активных на токен) и DeepSeek-V4.1-Flash-1017 (748B). Чаще всего используемые эксперты хранятся в VRAM, следующие — в RAM, остальные считываются с NVMe SSD. При запуске движок проверяет GPU, CPU, RAM и диск и подстраивается под них.

project-maya можно использовать бесплатно? Какая у него лицензия?

project-maya распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

project-maya всё ещё поддерживается?

Активно поддерживается. Последний коммит в project-maya — 6 нояб. 2026 г..

Для чего можно использовать project-maya?

Локальный хостинг крупной MoE-модели на рабочей станции или небольшом сервере, когда данные не должны покидать машину. Подключение агентам для работы с кодом, например Claude Code, локальной модели через эндпоинт, совместимый с Anthropic. Совместное использование одной машины несколькими разработчиками или сессиями агентов благодаря параллельной обработке запросов. Работа с длинными документами в диалогах с контекстом до 1M токенов на одной потребительской GPU с потоковой передачей KV-кэша. Сравнение вариантов квантования по заявленному сохранению точности и объёму памяти до загрузки. Проверка локального инференса крупных моделей на GPU AMD или рабочей станции с Windows вместо системы с Linux и CUDA.

Как установить project-maya?

Клонируйте репозиторий и откройте его папку Запустите скрипт настройки и выберите модель: ./setup.sh --setup Запустите сервер и общайтесь в браузере

Где скачать project-maya?

Исходный код и инструкции по установке — на GitHub: https://github.com/mw00/project-maya