Локальный и облачный запуск открытых моделей, таких как Gemma, Qwen, DeepSeek и gpt-oss, через CLI, REST API и библиотеки для Python и JavaScript.
simplexai-labs/PolyStrata
Запускает крупные open-weight LLM, например Qwen3.6, GLM 5.3 Flash и Gemma 4, на вашем ПК с NVIDIA или AMD и предоставляет API, совместимые с OpenAI и Anthropic, на localhost.
- Звёзды
- 906
- Форки
- 128
- Открытые issues
- 15
- Последний коммит
- 3 дня назад
Что это?
PolyStrata — локальная среда для инференса крупных языковых моделей в формате GGUF на потребительском оборудовании. Она запускает двенадцать моделей на двух движках: Qwen3.8-Flash-Next на движке Strata для видеокарт NVIDIA или AMD с объёмом памяти от 12 ГБ, а также одиннадцать других моделей (включая GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 и MiniCPM-V) на движке, созданном специально для PolyStrata. Файлы моделей занимают много места, и большая часть весов остаётся в оперативной памяти системы, а видеокарта хранит часто используемые части.
В проект входят установщики в один клик для Windows (START-HERE.bat) и Linux (setup.sh), а также сборка для Mac с Qwen3.8-Flash-Next на Apple Silicon. Установщик определяет видеокарту и объём оперативной памяти, рекомендует размер модели и длину контекста, скачивает модель и запускает локальный сервер на 127.0.0.1:8080. Сервер предоставляет совместимую с OpenAI конечную точку /v1 и конечную точку /v1/messages в стиле Anthropic, а также включает чат в браузере и мониторинг в реальном времени.
В документации приведены результаты тестов для каждой модели и конфигурации оборудования, в том числе скорость генерации ответов и чтения промптов в токенах в секунду; также указано, что модели на движке PolyStrata находятся на экспериментальной стадии.
Ключевые возможности
- 01Запускает на локальном оборудовании двенадцать крупных моделей с открытыми весами, включая GLM 5.3 Flash, DeepSeek V4 Flash и Qwen3.6.
- 02Установщики в один клик для Windows и Linux подбирают размер модели с учётом видеокарты и объёма оперативной памяти.
- 03Предоставляет на localhost API, совместимые с OpenAI и выполненные в стиле Anthropic, для приложений и coding-агентов.
- 04Включает чат в браузере и мониторинг нагрузки на GPU, CPU и оперативную память в реальном времени.
- 05Поддерживает конфигурации с несколькими GPU и ввод изображений для ряда моделей.
Сценарии использования
- Запуск продвинутого coding-ассистента, например Claude Code, с моделью, которая работает на вашем устройстве.
- Приватное общение с крупными моделями, когда облачные API недоступны.
- Тестирование крупных MoE-моделей на одной игровой видеокарте при большом объёме оперативной памяти.
- Подключение существующих приложений на базе OpenAI или Anthropic к локальной конечной точке без изменений кода.
Быстрый старт
- 1
Скачайте PolyStrata с GitHub в виде ZIP-архива или клонируйте репозиторий
- 2
В Windows дважды щёлкните START-HERE.bat в папке PolyStrata
- 3
В Linux запустите скрипт установки в папке PolyStrata
./setup.sh - 4
Дождитесь загрузки и запуска модели, затем откройте http://127.0.0.1:8080
Что важно знать
- Для большинства моделей нужна видеокарта NVIDIA или AMD как минимум с 8–12 GB VRAM.
- Одиннадцать из двенадцати моделей работают на экспериментальном движке, а для GLM 5.3 Flash и DeepSeek V4 Flash нужны видеокарта с 32 GB и Linux.
- Модели занимают много места при загрузке — от 11 до 114 GB, а при первом запуске компьютер может зависнуть на 1–3 минуты.
В подборках
Темы
Частые вопросы
- Что такое PolyStrata?
- Запускает крупные open-weight LLM, например Qwen3.6, GLM 5.3 Flash и Gemma 4, на вашем ПК с NVIDIA или AMD и предоставляет API, совместимые с OpenAI и Anthropic, на localhost. PolyStrata — локальная среда для инференса крупных языковых моделей в формате GGUF на потребительском оборудовании. Она запускает двенадцать моделей на двух движках: Qwen3.8-Flash-Next на движке Strata для видеокарт NVIDIA или AMD с объёмом памяти от 12 ГБ, а также одиннадцать других моделей (включая GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 и MiniCPM-V) на движке, созданном специально для PolyStrata. Файлы моделей занимают много места, и большая часть весов остаётся в оперативной памяти системы, а видеокарта хранит часто используемые части.
- PolyStrata можно использовать бесплатно? Какая у него лицензия?
- PolyStrata распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- PolyStrata всё ещё поддерживается?
- Активно поддерживается. Последний коммит в PolyStrata — 5 нояб. 2026 г..
- Для чего можно использовать PolyStrata?
- Запуск продвинутого coding-ассистента, например Claude Code, с моделью, которая работает на вашем устройстве. Приватное общение с крупными моделями, когда облачные API недоступны. Тестирование крупных MoE-моделей на одной игровой видеокарте при большом объёме оперативной памяти. Подключение существующих приложений на базе OpenAI или Anthropic к локальной конечной точке без изменений кода.
- Как установить PolyStrata?
- Скачайте PolyStrata с GitHub в виде ZIP-архива или клонируйте репозиторий В Windows дважды щёлкните START-HERE.bat в папке PolyStrata В Linux запустите скрипт установки в папке PolyStrata: ./setup.sh Дождитесь загрузки и запуска модели, затем откройте http://127.0.0.1:8080
- Где скачать PolyStrata?
- Исходный код и инструкции по установке — на GitHub: https://github.com/simplexai-labs/PolyStrata
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Компактный нативный движок инференса для запуска DeepSeek V4 Flash и других выбранных крупных моделей на потребительском оборудовании с Metal, CUDA и ROCm.
Сервер инференса LLM на Rust для MoE-моделей, не помещающихся в память GPU; совместим с API llama-server и работает на NVIDIA GPU и Apple Silicon.
Локальный MLX-сервер инференса для Apple Silicon с совместимыми с OpenAI, Anthropic и Ollama API для LLM, VLM и генерации изображений.
Локальный запуск GGUF-моделей в одном файле со встроенным веб-интерфейсом KoboldAI и генерацией текста, изображений, речи и музыки.
Локальный движок инференса для запуска крупных MoE-моделей, например GLM-5.3-Flash, на собственных GPU с API, совместимым с OpenAI.