Repolode
Enviar
ashhart

ashhart/TensorFold

Um mecanismo local de inferência de LLM escrito em Zig que executa modelos em GPUs Apple Silicon Metal e NVIDIA CUDA, sem Python nem MLX.

Ver no GitHubSite
Estrelas
1,678
Forks
357
Issues abertas
145
Último commit
há 9 horas

O que é?

O TensorFold é um servidor de inferência de LLM distribuído em um único binário Zig. Ele lê checkpoints de modelos, tokeniza as requisições e executa kernels Metal ou CUDA diretamente, sem exigir uma instalação de Python ou MLX para servir os modelos. O projeto é voltado para Macs com Apple Silicon e GPUs NVIDIA, incluindo sistemas GB10, e oferece endpoints compatíveis com OpenAI para chat e completions, além das APIs Responses e Anthropic Messages.

O projeto mantém uma lista de modelos qualificados com revisões do Hugging Face fixadas, abrangendo famílias como Qwen, Nemotron, GLM, Gemma e LFM. Cada modelo tem sua própria receita, que descreve o hardware compatível, os requisitos de memória e as limitações. Entre os recursos estão limites de admissão de requisições, compactação de contexto, geração especulativa opcional com garantia de saída exata, cache de prompts e controles de raciocínio.

O repositório também inclui um ambiente de trabalho para desktop no macOS, um experimento chamado 'Living Weights' que grava fatos aprendidos nos arquivos do modelo e um fluxo de trabalho para contribuidores baseado na coordenação de agentes.

Recursos principais

  • 01Executa como um único binário Zig em Metal (macOS) e CUDA (Linux), sem Python nem MLX.
  • 02Oferece APIs compatíveis com OpenAI para chat e completions, além dos endpoints Responses e Anthropic Messages.
  • 03Baixa checkpoints do Hugging Face com revisões fixadas e verificação de checksum.
  • 04Limita requisições simultâneas com a configuração --parallel e coloca as demais em fila.
  • 05Oferece compactação de contexto que mantém as interações recentes sem alterações e resume as mais antigas.
  • 06Oferece geração especulativa opcional, em que os tokens aceitos correspondem à saída do decodificador sem especulação.

Casos de uso

  • Executar LLMs de pesos abertos localmente em um Mac com Apple Silicon.
  • Hospedar um endpoint autogerenciado compatível com OpenAI em um servidor com GPU NVIDIA.
  • Servir checkpoints grandes usando dois sistemas GB10 ou dois Macs.
  • Avaliar a qualidade e a velocidade de modelos em hardware específico com o comando de benchmark integrado.

Início rápido

  1. 1

    Instalar o TensorFold com Homebrew em um Mac com Apple Silicon

    brew install ashhart/tensorfold/tensorfold
  2. 2

    Baixar os pesos fixados do modelo Qwen3.5-2B

    tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
  3. 3

    Iniciar o servidor local do modelo

    tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

Antes de usar

  • O serving nativo é compatível apenas com Metal em Apple Silicon e GPUs NVIDIA CUDA.
  • Alguns caminhos de modelos são experimentais, e o README informa problemas conhecidos em determinados checkpoints.
  • Os pesos do modelo têm licenças próprias, separadas da licença Apache-2.0 do mecanismo.

Em coleções

Rode LLMs localmenteApps open source para Mac

Tópicos

#llm-inference#metal#cuda#zig#local-llm#openai-compatible#apple-silicon#ai#ai-tools#llm

Perguntas frequentes

O que é TensorFold?
Um mecanismo local de inferência de LLM escrito em Zig que executa modelos em GPUs Apple Silicon Metal e NVIDIA CUDA, sem Python nem MLX. O TensorFold é um servidor de inferência de LLM distribuído em um único binário Zig. Ele lê checkpoints de modelos, tokeniza as requisições e executa kernels Metal ou CUDA diretamente, sem exigir uma instalação de Python ou MLX para servir os modelos. O projeto é voltado para Macs com Apple Silicon e GPUs NVIDIA, incluindo sistemas GB10, e oferece endpoints compatíveis com OpenAI para chat e completions, além das APIs Responses e Anthropic Messages.
TensorFold é gratuito? Qual é a licença?
TensorFold é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
TensorFold ainda é mantido?
Manutenção ativa. O último commit de TensorFold foi em 6 de nov. de 2026.
Para que posso usar TensorFold?
Executar LLMs de pesos abertos localmente em um Mac com Apple Silicon. Hospedar um endpoint autogerenciado compatível com OpenAI em um servidor com GPU NVIDIA. Servir checkpoints grandes usando dois sistemas GB10 ou dois Macs. Avaliar a qualidade e a velocidade de modelos em hardware específico com o comando de benchmark integrado.
Como instalar TensorFold?
Instalar o TensorFold com Homebrew em um Mac com Apple Silicon: brew install ashhart/tensorfold/tensorfold Baixar os pesos fixados do modelo Qwen3.5-2B: tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3 Iniciar o servidor local do modelo: tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking
Onde consigo TensorFold?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ashhart/TensorFold

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados