ashhart/TensorFold

Что это?

Ключевые возможности

• 01Запускается в виде одного бинарного файла Zig на Metal (macOS) и CUDA (Linux), без Python и MLX.
• 02Предоставляет совместимые с OpenAI API для чата и completions, а также эндпоинты Responses и Anthropic Messages.
• 03Загружает контрольные точки моделей с Hugging Face с зафиксированными ревизиями и проверкой контрольных сумм.
• 04Ограничивает число параллельных запросов параметром --parallel, остальные ставит в очередь.
• 05Поддерживает компактизацию контекста: недавние реплики сохраняются без изменений, а более ранние суммируются.
• 06Предлагает опциональную спекулятивную генерацию: принятые токены совпадают с результатом обычного декодера.

Сценарии использования

• Локальный запуск LLM с открытыми весами на Mac с Apple Silicon.
• Развёртывание собственного совместимого с OpenAI эндпоинта на сервере с GPU NVIDIA.
• Обслуживание крупных контрольных точек моделей на двух системах GB10 или двух Mac.
• Оценка качества и скорости моделей на конкретном оборудовании с помощью встроенной команды бенчмаркинга.

Быстрый старт

1. 1

   Установить TensorFold с помощью Homebrew на Mac с Apple Silicon

   brew install ashhart/tensorfold/tensorfold
2. 2

   Скачать закреплённые веса модели Qwen3.5-2B

   tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
3. 3

   Запустить локальный сервер модели

   tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

Что важно знать

• !Нативный запуск модели поддерживается только на Apple Silicon с Metal и на GPU NVIDIA CUDA.
• !Некоторые варианты запуска моделей экспериментальны; в README описаны известные проблемы с отдельными чекпойнтами.
• !На веса модели распространяются собственные лицензии, отдельные от лицензии движка Apache-2.0.

В подборках

Темы

Частые вопросы

Что такое TensorFold?

Локальный движок инференса LLM на Zig: запускает модели на Apple Silicon Metal и NVIDIA CUDA без Python и MLX. TensorFold — сервер инференса LLM, собранный в один бинарный файл на Zig. Он читает контрольные точки моделей, токенизирует запросы и напрямую запускает ядра Metal или CUDA, поэтому для работы сервера не нужны Python и MLX. Проект рассчитан на Mac с Apple Silicon и GPU NVIDIA, включая системы GB10, и предоставляет совместимые с OpenAI эндпоинты для чата и completions, а также API Responses и Anthropic Messages.

TensorFold можно использовать бесплатно? Какая у него лицензия?

TensorFold распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

TensorFold всё ещё поддерживается?

Активно поддерживается. Последний коммит в TensorFold — 6 нояб. 2026 г..

Для чего можно использовать TensorFold?

Локальный запуск LLM с открытыми весами на Mac с Apple Silicon. Развёртывание собственного совместимого с OpenAI эндпоинта на сервере с GPU NVIDIA. Обслуживание крупных контрольных точек моделей на двух системах GB10 или двух Mac. Оценка качества и скорости моделей на конкретном оборудовании с помощью встроенной команды бенчмаркинга.

Как установить TensorFold?

Установить TensorFold с помощью Homebrew на Mac с Apple Silicon: brew install ashhart/tensorfold/tensorfold Скачать закреплённые веса модели Qwen3.5-2B: tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3 Запустить локальный сервер модели: tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

Где скачать TensorFold?

Исходный код и инструкции по установке — на GitHub: https://github.com/ashhart/TensorFold