Um mecanismo de inferência em C puro que executa modelos MoE muito grandes em hardware comum, carregando especialistas selecionados do disco sob demanda.
42,8 mil4,8 milCApache-2.0Atualizado há 10 horas
antirez/ds4
Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo.
- Estrelas
- 23,949
- Forks
- 2,313
- Issues abertas
- 790
- Último commit
- há 9 horas
O que é?
DwarfStar é um mecanismo de inferência pequeno e autocontido, escrito em C, desenvolvido para executar alguns modelos grandes de pesos abertos em hardware acessível. Ele tem como alvo DeepSeek V4 Flash (com um modelo de visão experimental), DeepSeek V4.1 Flash, DeepSeek V4 PRO, variantes do GLM 5.x e Qwen3.8 Flash Next. Ele não foi pensado para ser um executor GGUF genérico: usa arquivos GGUF gerados pelo próprio projeto.
O principal alvo são os Macs com Apple Silicon, com streaming a partir do SSD para máquinas com menos RAM. Há suporte a NVIDIA CUDA no DGX Spark e em configurações com várias GPUs, incluindo placas Ada Lovelace e L40S, e a ROCm em sistemas Strix Halo. O projeto oferece uma CLI interativa, um agente de programação nativo (ds4-agent) que funciona sem servidor HTTP, um servidor HTTP (ds4-server) com suporte a várias sessões e uma ferramenta de avaliação para testes de regressão de capacidades.
O projeto está em beta e muda rapidamente. O suporte a modelos é selecionado com base nos melhores pesos abertos disponíveis para máquinas de consumo, e parte do código é desenvolvida com agentes de programação de IA.
Recursos principais
- 01Mecanismo nativo de inferência em C com backends Metal, CUDA e ROCm.
- 02O streaming a partir do SSD permite executar modelos maiores que a RAM em máquinas menores.
- 03Suporte a várias GPUs com CUDA, incluindo placas Ada Lovelace e L40S.
- 04Agente de programação nativo integrado e servidor HTTP no estilo OpenAI com suporte a várias sessões.
- 05Decodificação especulativa (MTP) e salvamento/restauração do cache KV para sessões.
Casos de uso
- Executar modelos da categoria DeepSeek ou GLM localmente em um Mac com bastante memória.
- Disponibilizar um endpoint local de LLM para vários usuários em um servidor CUDA com várias GPUs.
- Usar um agente de programação local com clientes como Pi, OpenCode ou Claude Code.
- Experimentar com os mecanismos internos de inferência para um conjunto pequeno de modelos grandes.
Início rápido
- 1
Clone o repositório
git clone https://github.com/antirez/ds4.git - 2
Acesse o diretório do projeto
cd ds4 - 3
Compile para sua plataforma (Metal no Apple Silicon)
make - 4
Baixe o modelo DeepSeek V4 Flash Q2 (para máquinas com 96 ou 128 GB)
./download_model.sh ds4f-q2
Antes de usar
- A qualidade é de versão beta e o software muda rapidamente, então podem ocorrer instabilidades e regressões.
- O suporte a Metal para DeepSeek e GLM exige 96 GB ou mais; Macs com menos memória precisam transmitir os dados por SSD.
- O escopo é intencionalmente restrito: o software executa apenas os modelos específicos compatíveis e os arquivos GGUF gerados pelo projeto, não arquivos GGUF genéricos.
- O software foi desenvolvido com forte assistência de agentes de programação com IA.
Tópicos
Perguntas frequentes
- O que é ds4?
- Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo. DwarfStar é um mecanismo de inferência pequeno e autocontido, escrito em C, desenvolvido para executar alguns modelos grandes de pesos abertos em hardware acessível. Ele tem como alvo DeepSeek V4 Flash (com um modelo de visão experimental), DeepSeek V4.1 Flash, DeepSeek V4 PRO, variantes do GLM 5.x e Qwen3.8 Flash Next. Ele não foi pensado para ser um executor GGUF genérico: usa arquivos GGUF gerados pelo próprio projeto.
- ds4 é gratuito? Qual é a licença?
- ds4 é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ds4 ainda é mantido?
- Manutenção ativa. O último commit de ds4 foi em 19 de out. de 2026.
- Para que posso usar ds4?
- Executar modelos da categoria DeepSeek ou GLM localmente em um Mac com bastante memória. Disponibilizar um endpoint local de LLM para vários usuários em um servidor CUDA com várias GPUs. Usar um agente de programação local com clientes como Pi, OpenCode ou Claude Code. Experimentar com os mecanismos internos de inferência para um conjunto pequeno de modelos grandes.
- Como instalar ds4?
- Clone o repositório: git clone https://github.com/antirez/ds4.git Acesse o diretório do projeto: cd ds4 Compile para sua plataforma (Metal no Apple Silicon): make Baixe o modelo DeepSeek V4 Flash Q2 (para máquinas com 96 ou 128 GB): ./download_model.sh ds4f-q2
- Onde consigo ds4?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/antirez/ds4
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Conecta um iPhone a um Mac via USB-C para usar a GPU do celular na execução local de um modelo Qwen 27B, acelerando a leitura de prompts e ampliando o contexto.
1,1 mil118PythonMITAtualizado há 6 dias
Runner local e na nuvem para modelos abertos, como Gemma, Qwen, DeepSeek e gpt-oss, com CLI, REST API e bibliotecas para Python e JavaScript.
183,8 mil18,4 milGoMITAtualizado ontem
Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina.
38,1 mil2,5 milRustMITAtualizado há 13 horas
Ferramenta CLI para ajustar e fazer pós-treinamento de LLMs com um único arquivo YAML, incluindo opções para GPUs de consumo com pouca VRAM.
9,4 mil1,5 milPythonApache-2.0Atualizado há 9 horas
Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.
7,2 mil494RustApache-2.0Atualizado há 17 horas