Repolode
제출하기
simplexai-labs

simplexai-labs/PolyStrata

Qwen3.6, GLM 5.3 Flash, Gemma 4 같은 대형 오픈 웨이트 LLM을 NVIDIA 또는 AMD PC에서 실행하고, localhost에 OpenAI 및 Anthropic 호환 API를 제공합니다.

GitHub에서 보기
스타
906
포크
128
열린 이슈
15
마지막 커밋
3일 전

어떤 프로젝트인가요?

PolyStrata는 일반 사용자용 하드웨어에서 대형 GGUF 언어 모델을 로컬로 추론하기 위한 구성입니다. 두 가지 엔진에서 12개 모델을 실행합니다. Strata 엔진은 VRAM 12GB 이상인 NVIDIA 또는 AMD 그래픽 카드에서 Qwen3.8-Flash-Next를 실행하고, PolyStrata 전용 엔진은 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4, MiniCPM-V를 포함한 나머지 11개 모델을 실행합니다. 모델 파일의 크기가 커서 가중치 대부분은 시스템 RAM에 저장되고, 자주 사용하는 부분은 GPU에 올라갑니다.

Windows용 원클릭 설치 프로그램(START-HERE.bat)과 Linux용 설치 프로그램(setup.sh)이 제공되며, Apple Silicon에서 Qwen3.8-Flash-Next를 실행하는 Mac 빌드도 있습니다. 설치 프로그램은 그래픽 카드와 RAM을 감지해 적절한 모델 크기와 컨텍스트 길이를 추천하고, 모델을 다운로드한 뒤 127.0.0.1:8080에서 로컬 서버를 시작합니다. 서버는 /v1의 OpenAI 호환 엔드포인트와 Anthropic 스타일의 /v1/messages 엔드포인트를 제공하며, 브라우저 채팅과 실시간 모니터도 포함합니다.

문서에는 모델과 하드웨어별 벤치마크 수치가 나와 있으며, 답변 생성과 프롬프트 처리 속도(초당 토큰 수)도 포함됩니다. PolyStrata 엔진을 사용하는 모델은 실험 단계라고 명시되어 있습니다.

핵심 기능

  • 01GLM 5.3 Flash, DeepSeek V4 Flash, Qwen3.6 등을 포함한 대형 오픈 웨이트 모델 12개를 로컬 하드웨어에서 실행합니다.
  • 02GPU와 RAM에 맞춰 모델 크기를 선택하는 Windows 및 Linux용 원클릭 설치 프로그램을 제공합니다.
  • 03앱과 코딩 에이전트에서 사용할 수 있도록 localhost에 OpenAI 호환 및 Anthropic 스타일 API를 제공합니다.
  • 04브라우저 채팅 인터페이스와 GPU, CPU, RAM 사용량을 보여주는 실시간 모니터를 포함합니다.
  • 05멀티 GPU 구성을 지원하며, 일부 모델에서는 선택적으로 이미지 입력을 사용할 수 있습니다.

활용 사례

  • Claude Code 같은 성능 좋은 코딩 어시스턴트가 내 컴퓨터에 계속 상주하는 모델을 사용하도록 실행합니다.
  • 클라우드 API를 사용할 수 없을 때 대형 모델과 비공개로 대화합니다.
  • 시스템 RAM이 넉넉한 단일 게이밍용 GPU에서 대형 MoE 모델을 테스트합니다.
  • 기존 OpenAI 또는 Anthropic 기반 앱의 코드를 바꾸지 않고 로컬 엔드포인트에 연결합니다.

빠른 시작

  1. 1

    GitHub에서 PolyStrata를 ZIP 파일로 다운로드하거나 clone합니다

  2. 2

    Windows에서는 PolyStrata 폴더에 있는 START-HERE.bat를 더블클릭합니다

  3. 3

    Linux에서는 PolyStrata 폴더에서 설정 스크립트를 실행합니다

    ./setup.sh
  4. 4

    모델이 다운로드되고 시작될 때까지 기다린 다음 http://127.0.0.1:8080 을 엽니다

사용 전 알아둘 점

  • 대부분의 모델을 실행하려면 VRAM이 최소 8~12 GB인 NVIDIA 또는 AMD 그래픽 카드가 필요합니다.
  • 12개 모델 중 11개는 실험용 엔진에서 실행되며, GLM 5.3 Flash와 DeepSeek V4 Flash는 32 GB 그래픽 카드와 Linux가 필요합니다.
  • 모델 다운로드 용량은 11 GB에서 114 GB로 크며, 처음 시작할 때 PC가 1~3분 동안 멈출 수 있습니다.

포함된 컬렉션

셀프 호스팅 앱로컬에서 LLM 실행하기

토픽

#local-llm#inference-engine#llm#gguf#openai-api#anthropic-api#cuda#self-hosted#gemma#glm

자주 묻는 질문

PolyStrata은(는) 무엇인가요?
Qwen3.6, GLM 5.3 Flash, Gemma 4 같은 대형 오픈 웨이트 LLM을 NVIDIA 또는 AMD PC에서 실행하고, localhost에 OpenAI 및 Anthropic 호환 API를 제공합니다. PolyStrata는 일반 사용자용 하드웨어에서 대형 GGUF 언어 모델을 로컬로 추론하기 위한 구성입니다. 두 가지 엔진에서 12개 모델을 실행합니다. Strata 엔진은 VRAM 12GB 이상인 NVIDIA 또는 AMD 그래픽 카드에서 Qwen3.8-Flash-Next를 실행하고, PolyStrata 전용 엔진은 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4, MiniCPM-V를 포함한 나머지 11개 모델을 실행합니다. 모델 파일의 크기가 커서 가중치 대부분은 시스템 RAM에 저장되고, 자주 사용하는 부분은 GPU에 올라갑니다.
PolyStrata은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
PolyStrata은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
PolyStrata은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. PolyStrata의 마지막 커밋은 2026년 11월 5일입니다.
PolyStrata은(는) 어디에 사용할 수 있나요?
Claude Code 같은 성능 좋은 코딩 어시스턴트가 내 컴퓨터에 계속 상주하는 모델을 사용하도록 실행합니다. 클라우드 API를 사용할 수 없을 때 대형 모델과 비공개로 대화합니다. 시스템 RAM이 넉넉한 단일 게이밍용 GPU에서 대형 MoE 모델을 테스트합니다. 기존 OpenAI 또는 Anthropic 기반 앱의 코드를 바꾸지 않고 로컬 엔드포인트에 연결합니다.
PolyStrata는 어떻게 설치하나요?
GitHub에서 PolyStrata를 ZIP 파일로 다운로드하거나 clone합니다 Windows에서는 PolyStrata 폴더에 있는 START-HERE.bat를 더블클릭합니다 Linux에서는 PolyStrata 폴더에서 설정 스크립트를 실행합니다: ./setup.sh 모델이 다운로드되고 시작될 때까지 기다린 다음 http://127.0.0.1:8080 을 엽니다
PolyStrata은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/simplexai-labs/PolyStrata

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트