Repolode
simplexai-labs

simplexai-labs/PolyStrata

Запускает крупные open-weight LLM, например Qwen3.6, GLM 5.3 Flash и Gemma 4, на вашем ПК с NVIDIA или AMD и предоставляет API, совместимые с OpenAI и Anthropic, на localhost.

Звёзды
906
Форки
128
Открытые issues
15
Последний коммит
3 дня назад

Что это?

PolyStrata — локальная среда для инференса крупных языковых моделей в формате GGUF на потребительском оборудовании. Она запускает двенадцать моделей на двух движках: Qwen3.8-Flash-Next на движке Strata для видеокарт NVIDIA или AMD с объёмом памяти от 12 ГБ, а также одиннадцать других моделей (включая GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 и MiniCPM-V) на движке, созданном специально для PolyStrata. Файлы моделей занимают много места, и большая часть весов остаётся в оперативной памяти системы, а видеокарта хранит часто используемые части.

В проект входят установщики в один клик для Windows (START-HERE.bat) и Linux (setup.sh), а также сборка для Mac с Qwen3.8-Flash-Next на Apple Silicon. Установщик определяет видеокарту и объём оперативной памяти, рекомендует размер модели и длину контекста, скачивает модель и запускает локальный сервер на 127.0.0.1:8080. Сервер предоставляет совместимую с OpenAI конечную точку /v1 и конечную точку /v1/messages в стиле Anthropic, а также включает чат в браузере и мониторинг в реальном времени.

В документации приведены результаты тестов для каждой модели и конфигурации оборудования, в том числе скорость генерации ответов и чтения промптов в токенах в секунду; также указано, что модели на движке PolyStrata находятся на экспериментальной стадии.

Ключевые возможности

  • 01Запускает на локальном оборудовании двенадцать крупных моделей с открытыми весами, включая GLM 5.3 Flash, DeepSeek V4 Flash и Qwen3.6.
  • 02Установщики в один клик для Windows и Linux подбирают размер модели с учётом видеокарты и объёма оперативной памяти.
  • 03Предоставляет на localhost API, совместимые с OpenAI и выполненные в стиле Anthropic, для приложений и coding-агентов.
  • 04Включает чат в браузере и мониторинг нагрузки на GPU, CPU и оперативную память в реальном времени.
  • 05Поддерживает конфигурации с несколькими GPU и ввод изображений для ряда моделей.

Сценарии использования

  • Запуск продвинутого coding-ассистента, например Claude Code, с моделью, которая работает на вашем устройстве.
  • Приватное общение с крупными моделями, когда облачные API недоступны.
  • Тестирование крупных MoE-моделей на одной игровой видеокарте при большом объёме оперативной памяти.
  • Подключение существующих приложений на базе OpenAI или Anthropic к локальной конечной точке без изменений кода.

Быстрый старт

  1. 1

    Скачайте PolyStrata с GitHub в виде ZIP-архива или клонируйте репозиторий

  2. 2

    В Windows дважды щёлкните START-HERE.bat в папке PolyStrata

  3. 3

    В Linux запустите скрипт установки в папке PolyStrata

    ./setup.sh
  4. 4

    Дождитесь загрузки и запуска модели, затем откройте http://127.0.0.1:8080

Что важно знать

  • Для большинства моделей нужна видеокарта NVIDIA или AMD как минимум с 8–12 GB VRAM.
  • Одиннадцать из двенадцати моделей работают на экспериментальном движке, а для GLM 5.3 Flash и DeepSeek V4 Flash нужны видеокарта с 32 GB и Linux.
  • Модели занимают много места при загрузке — от 11 до 114 GB, а при первом запуске компьютер может зависнуть на 1–3 минуты.

В подборках

Темы

Частые вопросы

Что такое PolyStrata?
Запускает крупные open-weight LLM, например Qwen3.6, GLM 5.3 Flash и Gemma 4, на вашем ПК с NVIDIA или AMD и предоставляет API, совместимые с OpenAI и Anthropic, на localhost. PolyStrata — локальная среда для инференса крупных языковых моделей в формате GGUF на потребительском оборудовании. Она запускает двенадцать моделей на двух движках: Qwen3.8-Flash-Next на движке Strata для видеокарт NVIDIA или AMD с объёмом памяти от 12 ГБ, а также одиннадцать других моделей (включая GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 и MiniCPM-V) на движке, созданном специально для PolyStrata. Файлы моделей занимают много места, и большая часть весов остаётся в оперативной памяти системы, а видеокарта хранит часто используемые части.
PolyStrata можно использовать бесплатно? Какая у него лицензия?
PolyStrata распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
PolyStrata всё ещё поддерживается?
Активно поддерживается. Последний коммит в PolyStrata — 5 нояб. 2026 г..
Для чего можно использовать PolyStrata?
Запуск продвинутого coding-ассистента, например Claude Code, с моделью, которая работает на вашем устройстве. Приватное общение с крупными моделями, когда облачные API недоступны. Тестирование крупных MoE-моделей на одной игровой видеокарте при большом объёме оперативной памяти. Подключение существующих приложений на базе OpenAI или Anthropic к локальной конечной точке без изменений кода.
Как установить PolyStrata?
Скачайте PolyStrata с GitHub в виде ZIP-архива или клонируйте репозиторий В Windows дважды щёлкните START-HERE.bat в папке PolyStrata В Linux запустите скрипт установки в папке PolyStrata: ./setup.sh Дождитесь загрузки и запуска модели, затем откройте http://127.0.0.1:8080
Где скачать PolyStrata?
Исходный код и инструкции по установке — на GitHub: https://github.com/simplexai-labs/PolyStrata

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты