Servidor de inferência de LLM em Rust para modelos mixture-of-experts maiores que a GPU, com API HTTP compatível com llama-server, em GPUs NVIDIA e Apple Silicon.
61+1 esta semana7RustMITBem mantidoAtualizado há 8 horas
wici-ai/inferssd
Executa modelos GGUF grandes de mixture-of-experts transmitindo os pesos dos especialistas do SSD, com base no llama.cpp, em máquinas com menos RAM ou VRAM do que o modelo exige.
- Estrelas
- 355
- Forks
- 55
- Issues abertas
- 8
- Último commit
- há 6 horas
O que é?
O InferSSD é um mecanismo de inferência para modelos de linguagem grandes de mixture-of-experts (MoE), que excedem a RAM ou VRAM da máquina em que são executados. Ele se baseia no llama.cpp, carrega arquivos GGUF padrão e transmite os pesos dos especialistas do SSD conforme necessário, em vez de manter o modelo inteiro na memória.
O projeto oferece um modo de chat no terminal (`inferssd cli`) e um modo servidor (`inferssd serve`), que hospeda uma interface de chat no navegador e uma API compatível com a OpenAI. Atualmente, oferece suporte ao DeepSeek-V4.1-Flash-1017 e ao Muse-Spark-Open, e funciona no macOS com Apple Silicon e Metal e no Linux com NVIDIA CUDA. O suporte ao Windows está listado como em andamento.
A instalação é feita a partir do código-fonte com um único script de shell que compila o mecanismo para a CPU e a GPU locais, levando alguns minutos. Na primeira execução, os arquivos do modelo são baixados para um diretório à sua escolha; no caso do DeepSeek, são cerca de 470 GiB.
Recursos principais
- 01Executa modelos MoE maiores do que a RAM ou VRAM disponível, transmitindo os especialistas do SSD.
- 02Carrega arquivos de modelo GGUF padrão, com base no llama.cpp.
- 03Oferece um modo de chat no terminal e uma interface web no navegador.
- 04Disponibiliza uma API compatível com a OpenAI em um endpoint local.
- 05Oferece suporte a Apple Silicon (Metal) e Linux com NVIDIA CUDA.
Casos de uso
- Executar um modelo MoE grande em um laptop ou workstation com memória limitada.
- Disponibilizar um endpoint local compatível com a OpenAI para ferramentas que esperam a API da OpenAI.
- Experimentar inferência baseada em SSD em GPUs para consumidores ou máquinas com Apple Silicon.
Início rápido
- 1
Execute o script oficial de instalação do README (compila a partir do código-fonte e leva de 2 a 12 minutos).
- 2
Converse com um modelo no terminal.
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF - 3
Ou inicie a interface web e a API compatível com OpenAI em http://127.0.0.1:8080.
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
Antes de usar
- Compatível apenas com macOS em Apple Silicon e Linux com GPU NVIDIA; o suporte ao Windows ainda está em desenvolvimento.
- Ainda não há pacotes pré-compilados, então o código é compilado na sua máquina durante a instalação.
- Na primeira execução, são baixados cerca de 470 GiB de arquivos do modelo.
- No Linux, também são necessários o toolkit CUDA, os cabeçalhos do liburing e o systemd com cgroup v2.
Em coleções
Tópicos
Perguntas frequentes
- O que é inferssd?
- Executa modelos GGUF grandes de mixture-of-experts transmitindo os pesos dos especialistas do SSD, com base no llama.cpp, em máquinas com menos RAM ou VRAM do que o modelo exige. O InferSSD é um mecanismo de inferência para modelos de linguagem grandes de mixture-of-experts (MoE), que excedem a RAM ou VRAM da máquina em que são executados. Ele se baseia no llama.cpp, carrega arquivos GGUF padrão e transmite os pesos dos especialistas do SSD conforme necessário, em vez de manter o modelo inteiro na memória.
- inferssd é gratuito? Qual é a licença?
- inferssd é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- inferssd ainda é mantido?
- Manutenção ativa. O último commit de inferssd foi em 7 de nov. de 2026.
- Para que posso usar inferssd?
- Executar um modelo MoE grande em um laptop ou workstation com memória limitada. Disponibilizar um endpoint local compatível com a OpenAI para ferramentas que esperam a API da OpenAI. Experimentar inferência baseada em SSD em GPUs para consumidores ou máquinas com Apple Silicon.
- Como instalar inferssd?
- Execute o script oficial de instalação do README (compila a partir do código-fonte e leva de 2 a 12 minutos). Converse com um modelo no terminal.: inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF Ou inicie a interface web e a API compatível com OpenAI em http://127.0.0.1:8080.: inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
- Onde consigo inferssd?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/wici-ai/inferssd
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um mecanismo nativo em Swift que executa um modelo Qwen3.8-Flash-Next de 105 GB e 4 bits em Macs com Apple Silicon e 16–64 GB, transmitindo os experts do SSD.
656+20 esta semana54SwiftMITBem mantidoAtualizado há 3 dias
Um mecanismo local de inferência de LLM escrito em Zig que executa modelos em GPUs Apple Silicon Metal e NVIDIA CUDA, sem Python nem MLX.
1,7 mil+124 esta semana362ZigApache-2.0Bem mantidoAtualizado há 2 horas
Um mecanismo de inferência em Rust para executar modelos de IA diretamente nos apps, com execução no dispositivo em aparelhos Apple e modelos opcionais na nuvem.
3,2 mil+101 esta semana223RustMITBem mantidoAtualizado há 3 horas
Bindings de Rust para llama.cpp que permitem carregar e executar modelos de linguagem GGUF localmente por meio do crate llama-cpp-2.
665+1 esta semana261RustApache-2.0Bem mantidoAtualizado há 3 dias
Ferramenta em Go que lê arquivos de modelos GGUF remotamente e estima o uso de RAM/VRAM e o máximo de tokens por segundo antes do download.
310+1 esta semana31GoMITBem mantidoAtualizado há 9 dias