ashhart/TensorFold

어떤 프로젝트인가요?

핵심 기능

• 01Python이나 MLX 없이 Metal(macOS) 및 CUDA(Linux)에서 단일 Zig 바이너리로 실행됩니다.
• 02OpenAI 호환 채팅 및 completions API와 Responses 및 Anthropic Messages 엔드포인트를 제공합니다.
• 03고정된 리비전과 체크섬 검증을 적용해 Hugging Face에서 체크포인트를 가져옵니다.
• 04--parallel 설정으로 동시 요청 수를 제한하고 나머지 요청은 대기열에 넣습니다.
• 05최근 대화는 그대로 유지하고 오래된 대화는 요약하는 컨텍스트 압축을 지원합니다.
• 06선택적 추측 디코딩을 제공하며, 이 방식에서 승인된 토큰은 일반 디코더 출력과 일치합니다.

활용 사례

• Apple Silicon Mac에서 오픈 웨이트 LLM을 로컬로 실행하기.
• NVIDIA GPU 서버에서 직접 관리하는 OpenAI 호환 엔드포인트 호스팅하기.
• 두 대의 GB10 시스템 또는 두 대의 Mac에 걸쳐 대형 체크포인트 서빙하기.
• 내장 벤치마크 명령으로 특정 하드웨어에서 모델 품질과 속도 평가하기.

빠른 시작

1. 1

   Apple Silicon이 탑재된 Mac에 Homebrew로 TensorFold 설치하기

   brew install ashhart/tensorfold/tensorfold
2. 2

   고정 버전의 Qwen3.5-2B 모델 가중치 다운로드하기

   tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
3. 3

   로컬 모델 서버 시작하기

   tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

사용 전 알아둘 점

• !네이티브 서빙은 Apple Silicon Metal 및 NVIDIA CUDA GPU만 대상으로 합니다.
• !일부 모델 경로는 실험 단계이며, README에는 일부 체크포인트의 알려진 문제가 안내되어 있습니다.
• !모델 가중치에는 Apache-2.0 엔진 라이선스와 별도의 라이선스가 적용됩니다.

포함된 컬렉션

토픽

자주 묻는 질문

TensorFold은(는) 무엇인가요?

Python이나 MLX 없이 Apple Silicon Metal 및 NVIDIA CUDA GPU에서 모델을 서빙하는 Zig 기반 로컬 LLM 추론 엔진입니다. TensorFold는 단일 Zig 바이너리로 빌드된 LLM 추론 서버입니다. 모델 체크포인트를 읽고 요청을 토큰화한 뒤 Metal 또는 CUDA 커널을 직접 실행하므로, 서빙에 Python이나 MLX를 설치할 필요가 없습니다. Apple Silicon Mac과 GB10 시스템을 포함한 NVIDIA GPU를 대상으로 하며, OpenAI 호환 채팅 및 completions 엔드포인트와 Responses 및 Anthropic Messages API를 제공합니다.

TensorFold은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

TensorFold은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

TensorFold은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. TensorFold의 마지막 커밋은 2026년 11월 6일입니다.

TensorFold은(는) 어디에 사용할 수 있나요?

Apple Silicon Mac에서 오픈 웨이트 LLM을 로컬로 실행하기. NVIDIA GPU 서버에서 직접 관리하는 OpenAI 호환 엔드포인트 호스팅하기. 두 대의 GB10 시스템 또는 두 대의 Mac에 걸쳐 대형 체크포인트 서빙하기. 내장 벤치마크 명령으로 특정 하드웨어에서 모델 품질과 속도 평가하기.

TensorFold는 어떻게 설치하나요?

Apple Silicon이 탑재된 Mac에 Homebrew로 TensorFold 설치하기: brew install ashhart/tensorfold/tensorfold 고정 버전의 Qwen3.5-2B 모델 가중치 다운로드하기: tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3 로컬 모델 서버 시작하기: tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

TensorFold은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ashhart/TensorFold