Repolode
Предложить
Niko1221

Niko1221/Strata

Запускает модель Qwen3.8-Flash-Next с 125 млрд параметров на потребительском ПК с GPU NVIDIA или AMD и предоставляет совместимые с OpenAI и Anthropic API на localhost.

Open source альтернатива:ChatGPTClaude

Открыть на GitHub
Звёзды
27,379
Форки
2,899
Открытые issues
1,326
Последний коммит
позавчера

Что это?

Strata — это движок для инференса, который запускает большую модель Qwen3.8-Flash-Next на обычных игровых ПК, а не на серверах. Он рассчитан на Windows и Linux с видеокартами NVIDIA или AMD и объёмом VRAM от 12 ГБ. В комплекте есть установщик в один клик: он определяет оборудование и выбирает подходящий размер модели. Модель распределяется между GPU, системной RAM и SSD: часто используемые эксперты остаются на видеокарте, остальные хранятся в RAM или по мере необходимости считываются с диска.

После запуска Strata предоставляет совместимый с OpenAI API на localhost, а также endpoints в стиле Anthropic и OpenAI Responses. Благодаря этому существующие приложения и агенты для написания кода, например Claude Code, могут подключаться к модели после изменения базового URL. Встроенный браузерный интерфейс позволяет общаться с моделью и отслеживать нагрузку на GPU, CPU и RAM в реальном времени. Поддерживается опциональный ввод изображений, а модель можно запускать в нескольких вариантах квантования, чтобы подобрать размер под доступную память.

Ключевые возможности

  • 01Запускает модель с 125 млрд параметров на GPU NVIDIA или AMD с VRAM от 12 ГБ.
  • 02Предоставляет на localhost совместимые с OpenAI API, Anthropic API и OpenAI Responses API.
  • 03Включает браузерный интерфейс для чата и мониторинг нагрузки на GPU, CPU и RAM в реальном времени.
  • 04Предлагает несколько вариантов квантования модели под доступный объём RAM.
  • 05Поддерживает опциональный ввод изображений и управление через AI-агенты для написания кода с помощью MCP-сервера.

Сценарии использования

  • Запуск мощной локальной модели для написания кода без отправки его в облачный сервис.
  • Подключение Claude Code и других инструментов, совместимых с OpenAI, к модели на собственном ПК.
  • Эксперименты с большими квантованными моделями на одной потребительской видеокарте.
  • Хранение чатов и документов на собственном компьютере для сохранения конфиденциальности.

Темы

#llm#local-inference#gpu#openai-api#quantization#coding-agent

Частые вопросы

Что такое Strata?
Запускает модель Qwen3.8-Flash-Next с 125 млрд параметров на потребительском ПК с GPU NVIDIA или AMD и предоставляет совместимые с OpenAI и Anthropic API на localhost. Strata — это движок для инференса, который запускает большую модель Qwen3.8-Flash-Next на обычных игровых ПК, а не на серверах. Он рассчитан на Windows и Linux с видеокартами NVIDIA или AMD и объёмом VRAM от 12 ГБ. В комплекте есть установщик в один клик: он определяет оборудование и выбирает подходящий размер модели. Модель распределяется между GPU, системной RAM и SSD: часто используемые эксперты остаются на видеокарте, остальные хранятся в RAM или по мере необходимости считываются с диска.
Strata можно использовать бесплатно? Какая у него лицензия?
Strata распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Strata всё ещё поддерживается?
Активно поддерживается. Последний коммит в Strata — 17 окт. 2026 г..
Для чего можно использовать Strata?
Запуск мощной локальной модели для написания кода без отправки его в облачный сервис. Подключение Claude Code и других инструментов, совместимых с OpenAI, к модели на собственном ПК. Эксперименты с большими квантованными моделями на одной потребительской видеокарте. Хранение чатов и документов на собственном компьютере для сохранения конфиденциальности.
Где скачать Strata?
Исходный код и инструкции по установке — на GitHub: https://github.com/Niko1221/Strata

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

FlashML-org / FreeToken

Edge-native движок для MoE-моделей, который запускает большие модели с открытыми весами, такие как DeepSeek-V4 и Qwen3.6, на потребительских GPU, распределяя нагрузку между GPU и памятью CPU.

ИИ и машинное обучение#moe#llm-inference#edge-ai
14,6 тыс.1,5 тыс.PythonApache-2.0Обновлён 12 часов назад

msitarzewski / agency-agents

Большая коллекция файлов с промптами для ИИ-агентов разных ролей — от разработки и дизайна до маркетинга и безопасности — для установки в Claude Code, Cursor, Gemini CLI и другие инструменты.

ИИ и машинное обучение#ai-agents#prompt-engineering#claude-code
161,1 тыс.26,1 тыс.ShellMITОбновлён 4 дня назад

anthropics / claude-code

Агентный инструмент для программирования, который работает в терминале, изучает кодовую базу и выполняет задачи по разработке, объясняет код и помогает с Git-процессами по запросам на естественном языке.

ИИ и машинное обучение#ai#coding-assistant#cli
152,2 тыс.27 тыс.TypeScriptБез лицензииОбновлён вчера