Repolode
제출하기
wici-ai

wici-ai/inferssd

llama.cpp 기반으로, 모델이 요구하는 것보다 RAM이나 VRAM이 부족한 머신에서도 SSD에서 전문가 가중치를 스트리밍해 대형 MoE GGUF 모델을 실행합니다.

GitHub에서 보기웹사이트
스타
355
포크
55
열린 이슈
8
마지막 커밋
8시간 전

어떤 프로젝트인가요?

InferSSD는 실행 머신의 RAM이나 VRAM 용량을 초과하는 대형 mixture-of-experts(MoE) 언어 모델을 위한 추론 엔진입니다. llama.cpp를 기반으로 표준 GGUF 파일을 불러오며, 모델 전체를 메모리에 올려두는 대신 필요할 때 SSD에서 전문가 가중치를 스트리밍합니다.

터미널 채팅 모드(`inferssd cli`)와 브라우저 채팅 UI 및 OpenAI 호환 API를 제공하는 서버 모드(`inferssd serve`)를 지원합니다. 현재 DeepSeek-V4.1-Flash-1017과 Muse-Spark-Open을 지원하며, Metal을 사용하는 Apple Silicon macOS와 NVIDIA CUDA를 사용하는 Linux에서 실행됩니다. Windows 지원은 진행 중으로 안내되어 있습니다.

로컬 CPU와 GPU에 맞춰 엔진을 빌드하는 셸 스크립트 하나로 소스에서 설치할 수 있으며, 빌드에는 몇 분이 걸립니다. 첫 실행 시 모델 파일을 다운로드합니다. DeepSeek의 경우 대략 470 GiB이며, 다운로드 위치는 원하는 디렉터리로 지정할 수 있습니다.

핵심 기능

  • 01SSD에서 전문가 가중치를 스트리밍해 가용 RAM이나 VRAM보다 큰 MoE 모델을 실행합니다.
  • 02llama.cpp 기반의 표준 GGUF 모델 파일을 불러옵니다.
  • 03터미널 채팅 모드와 브라우저 웹 UI를 제공합니다.
  • 04로컬 엔드포인트에서 OpenAI 호환 API를 제공합니다.
  • 05Apple Silicon(Metal)과 NVIDIA CUDA를 사용하는 Linux를 지원합니다.

활용 사례

  • 메모리가 제한된 노트북이나 워크스테이션에서 대형 MoE 모델을 실행합니다.
  • OpenAI API를 사용하는 도구를 위해 로컬 OpenAI 호환 엔드포인트를 제공합니다.
  • 소비자용 GPU나 Apple Silicon 머신에서 SSD 기반 추론을 실험합니다.

빠른 시작

  1. 1

    README의 공식 설치 스크립트를 실행하세요(소스에서 빌드되며 2~12분 정도 걸립니다).

  2. 2

    터미널에서 모델과 대화하세요.

    inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
  3. 3

    또는 http://127.0.0.1:8080 에서 웹 UI와 OpenAI 호환 API를 시작하세요.

    inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

사용 전 알아둘 점

  • Apple Silicon macOS와 NVIDIA GPU를 탑재한 Linux에서만 지원됩니다. Windows 지원은 아직 진행 중입니다.
  • 아직 사전 빌드된 패키지가 없어 설치 중에 컴퓨터에서 컴파일됩니다.
  • 처음 실행할 때 약 470 GiB의 모델 파일을 다운로드합니다.
  • Linux에서는 CUDA 툴킷, liburing 헤더, cgroup v2를 사용하는 systemd도 필요합니다.

포함된 컬렉션

로컬에서 LLM 실행하기오픈소스 Mac 앱

토픽

#llm#inference#mixture-of-experts#llama-cpp#gguf#ssd-offloading#metal#cuda#apple-silicon#ssd

자주 묻는 질문

inferssd은(는) 무엇인가요?
llama.cpp 기반으로, 모델이 요구하는 것보다 RAM이나 VRAM이 부족한 머신에서도 SSD에서 전문가 가중치를 스트리밍해 대형 MoE GGUF 모델을 실행합니다. InferSSD는 실행 머신의 RAM이나 VRAM 용량을 초과하는 대형 mixture-of-experts(MoE) 언어 모델을 위한 추론 엔진입니다. llama.cpp를 기반으로 표준 GGUF 파일을 불러오며, 모델 전체를 메모리에 올려두는 대신 필요할 때 SSD에서 전문가 가중치를 스트리밍합니다.
inferssd은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
inferssd은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
inferssd은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. inferssd의 마지막 커밋은 2026년 11월 7일입니다.
inferssd은(는) 어디에 사용할 수 있나요?
메모리가 제한된 노트북이나 워크스테이션에서 대형 MoE 모델을 실행합니다. OpenAI API를 사용하는 도구를 위해 로컬 OpenAI 호환 엔드포인트를 제공합니다. 소비자용 GPU나 Apple Silicon 머신에서 SSD 기반 추론을 실험합니다.
inferssd는 어떻게 설치하나요?
README의 공식 설치 스크립트를 실행하세요(소스에서 빌드되며 2~12분 정도 걸립니다). 터미널에서 모델과 대화하세요.: inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF 또는 http://127.0.0.1:8080 에서 웹 UI와 OpenAI 호환 API를 시작하세요.: inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
inferssd은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/wici-ai/inferssd

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트