Repolode
Предложить
antirez

antirez/ds4

Компактный нативный движок инференса для запуска DeepSeek V4 Flash и других выбранных крупных моделей на потребительском оборудовании с Metal, CUDA и ROCm.

Открыть на GitHub
Звёзды
23,949
Форки
2,313
Открытые issues
790
Последний коммит
10 часов назад

Что это?

DwarfStar — небольшой автономный движок инференса на C для запуска нескольких крупных моделей с открытыми весами на доступном пользователям оборудовании. Он поддерживает DeepSeek V4 Flash (включая экспериментальную модель для работы с изображениями), DeepSeek V4.1 Flash, DeepSeek V4 PRO, варианты GLM 5.x и Qwen3.8 Flash Next. Это намеренно не универсальный запускатель GGUF: он работает с файлами GGUF, созданными самим проектом.

Основная целевая платформа — Mac на Apple Silicon; для машин с меньшим объёмом RAM доступна потоковая загрузка с SSD. NVIDIA CUDA поддерживается на DGX Spark и в конфигурациях с несколькими GPU, включая карты Ada Lovelace и L40S; ROCm — на системах Strix Halo. В проект входят интерактивный CLI, нативный агент для программирования (ds4-agent), работающий без HTTP-сервера, HTTP-сервер (ds4-server) с поддержкой нескольких сессий и инструмент eval для регрессионного тестирования возможностей.

Проект находится в бета-версии и быстро меняется. Поддерживаемые модели выбирают по лучшим доступным весам с открытым доступом, подходящим для машин потребительского класса; часть кода разрабатывается с помощью AI-агентов для программирования.

Ключевые возможности

  • 01Нативный движок инференса на C с бэкендами Metal, CUDA и ROCm.
  • 02Потоковая загрузка с SSD позволяет запускать модели, которые больше объёма RAM, на менее мощных машинах.
  • 03Поддержка нескольких GPU с CUDA, включая карты Ada Lovelace и L40S.
  • 04Встроенный нативный агент для программирования и HTTP-сервер в стиле OpenAI с поддержкой нескольких сессий.
  • 05Спекулятивное декодирование (MTP) и сохранение/восстановление KV-кэша для сессий.

Сценарии использования

  • Локальный запуск моделей класса DeepSeek или GLM на Mac с большим объёмом памяти.
  • Развёртывание локальной LLM-точки доступа для нескольких пользователей на CUDA-сервере с несколькими GPU.
  • Использование локального агента для программирования с клиентами вроде Pi, OpenCode или Claude Code.
  • Изучение внутренних механизмов инференса на небольшом наборе крупных моделей.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/antirez/ds4.git
  2. 2

    Перейдите в каталог проекта

    cd ds4
  3. 3

    Соберите проект для своей платформы (Metal на Apple Silicon)

    make
  4. 4

    Скачайте модель DeepSeek V4 Flash Q2 (для устройств с 96 или 128 ГБ)

    ./download_model.sh ds4f-q2

Что важно знать

  • Это бета-версия, которая быстро меняется, поэтому возможны нестабильная работа и регрессии.
  • Для поддержки Metal в DeepSeek и GLM требуется не менее 96 ГБ; на Mac с меньшим объёмом памяти нужна потоковая загрузка с SSD.
  • Область применения намеренно ограничена: поддерживаются только определённые модели и созданные проектом файлы GGUF, а не произвольные файлы GGUF.
  • Программное обеспечение было разработано при значительной помощи ИИ-агентов для написания кода.

Темы

#llm-inference#deepseek#metal#cuda#rocm#local-llm#gguf#inference-engine

Частые вопросы

Что такое ds4?
Компактный нативный движок инференса для запуска DeepSeek V4 Flash и других выбранных крупных моделей на потребительском оборудовании с Metal, CUDA и ROCm. DwarfStar — небольшой автономный движок инференса на C для запуска нескольких крупных моделей с открытыми весами на доступном пользователям оборудовании. Он поддерживает DeepSeek V4 Flash (включая экспериментальную модель для работы с изображениями), DeepSeek V4.1 Flash, DeepSeek V4 PRO, варианты GLM 5.x и Qwen3.8 Flash Next. Это намеренно не универсальный запускатель GGUF: он работает с файлами GGUF, созданными самим проектом.
ds4 можно использовать бесплатно? Какая у него лицензия?
ds4 распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ds4 всё ещё поддерживается?
Активно поддерживается. Последний коммит в ds4 — 19 окт. 2026 г..
Для чего можно использовать ds4?
Локальный запуск моделей класса DeepSeek или GLM на Mac с большим объёмом памяти. Развёртывание локальной LLM-точки доступа для нескольких пользователей на CUDA-сервере с несколькими GPU. Использование локального агента для программирования с клиентами вроде Pi, OpenCode или Claude Code. Изучение внутренних механизмов инференса на небольшом наборе крупных моделей.
Как установить ds4?
Клонируйте репозиторий: git clone https://github.com/antirez/ds4.git Перейдите в каталог проекта: cd ds4 Соберите проект для своей платформы (Metal на Apple Silicon): make Скачайте модель DeepSeek V4 Flash Q2 (для устройств с 96 или 128 ГБ): ./download_model.sh ds4f-q2
Где скачать ds4?
Исходный код и инструкции по установке — на GitHub: https://github.com/antirez/ds4

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты