Repolode
Enviar
ashhart

ashhart/TensorFold

Motor local de inferencia de LLM escrito en Zig que sirve modelos en GPU Apple Silicon Metal y NVIDIA CUDA, sin Python ni MLX.

Ver en GitHubSitio web
Estrellas
1,678
Forks
357
Issues abiertos
145
Último commit
hace 24 horas

¿Qué es?

TensorFold es un servidor de inferencia de LLM distribuido como un único binario de Zig. Lee checkpoints de modelos, tokeniza solicitudes y ejecuta kernels de Metal o CUDA directamente, por lo que no hace falta instalar Python ni MLX para servir modelos. Está orientado a Macs con Apple Silicon y GPU NVIDIA, incluidos los sistemas GB10, y expone endpoints compatibles con OpenAI para chat y completions, además de las APIs Responses y Anthropic Messages.

El proyecto mantiene una lista de modelos calificados con revisiones de Hugging Face fijadas, que abarca familias como Qwen, Nemotron, GLM, Gemma y LFM. Cada modelo tiene su propia receta, que describe el hardware compatible, los requisitos de memoria y las limitaciones. Entre sus funciones se incluyen límites de admisión de solicitudes, compactación del contexto, generación especulativa opcional con garantías de salida exacta, caché de prompts y controles de razonamiento.

El repositorio también incluye un espacio de trabajo de escritorio para macOS, un experimento llamado «Living Weights» que escribe hechos aprendidos en archivos de modelos y un flujo de trabajo para colaboradores basado en la coordinación de agentes.

Funciones clave

  • 01Se ejecuta como un único binario de Zig en Metal (macOS) y CUDA (Linux), sin Python ni MLX.
  • 02Ofrece APIs de chat y completions compatibles con OpenAI, además de los endpoints Responses y Anthropic Messages.
  • 03Descarga checkpoints de Hugging Face con revisiones fijadas y verificación de checksums.
  • 04Limita las solicitudes concurrentes con la opción --parallel y pone las demás en cola.
  • 05Admite la compactación del contexto: conserva textualmente los turnos recientes y resume los anteriores.
  • 06Ofrece generación especulativa opcional, en la que los tokens aceptados coinciden con la salida del decodificador normal.

Casos de uso

  • Ejecutar localmente LLM de pesos abiertos en un Mac con Apple Silicon.
  • Alojar un endpoint autogestionado compatible con OpenAI en un servidor con GPU NVIDIA.
  • Servir checkpoints grandes en dos sistemas GB10 o dos Mac.
  • Evaluar la calidad y la velocidad de los modelos en hardware específico con el comando de benchmark integrado.

Inicio rápido

  1. 1

    Instalar TensorFold con Homebrew en un Mac con Apple Silicon

    brew install ashhart/tensorfold/tensorfold
  2. 2

    Descargar los pesos fijados del modelo Qwen3.5-2B

    tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
  3. 3

    Iniciar el servidor del modelo local

    tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

Antes de usarlo

  • El servicio nativo solo es compatible con Metal en Apple Silicon y con GPU NVIDIA CUDA.
  • Algunas rutas de modelos son experimentales y el README indica problemas conocidos en ciertos checkpoints.
  • Los pesos del modelo tienen sus propias licencias, independientes de la licencia Apache-2.0 del motor.

En colecciones

Ejecuta LLM en localApps open source para Mac

Temas

#llm-inference#metal#cuda#zig#local-llm#openai-compatible#apple-silicon#ai#ai-tools#llm

Preguntas frecuentes

¿Qué es TensorFold?
Motor local de inferencia de LLM escrito en Zig que sirve modelos en GPU Apple Silicon Metal y NVIDIA CUDA, sin Python ni MLX. TensorFold es un servidor de inferencia de LLM distribuido como un único binario de Zig. Lee checkpoints de modelos, tokeniza solicitudes y ejecuta kernels de Metal o CUDA directamente, por lo que no hace falta instalar Python ni MLX para servir modelos. Está orientado a Macs con Apple Silicon y GPU NVIDIA, incluidos los sistemas GB10, y expone endpoints compatibles con OpenAI para chat y completions, además de las APIs Responses y Anthropic Messages.
¿TensorFold es gratuito? ¿Qué licencia tiene?
TensorFold es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿TensorFold sigue mantenido?
Mantenimiento activo. El último commit de TensorFold fue el 6 nov 2026.
¿Para qué puedo usar TensorFold?
Ejecutar localmente LLM de pesos abiertos en un Mac con Apple Silicon. Alojar un endpoint autogestionado compatible con OpenAI en un servidor con GPU NVIDIA. Servir checkpoints grandes en dos sistemas GB10 o dos Mac. Evaluar la calidad y la velocidad de los modelos en hardware específico con el comando de benchmark integrado.
¿Cómo se instala TensorFold?
Instalar TensorFold con Homebrew en un Mac con Apple Silicon: brew install ashhart/tensorfold/tensorfold Descargar los pesos fijados del modelo Qwen3.5-2B: tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3 Iniciar el servidor del modelo local: tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking
¿Dónde consigo TensorFold?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ashhart/TensorFold

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados