Repolode
제출하기
Niko1221

Niko1221/Strata

일반 NVIDIA 또는 AMD GPU PC에서 125B 파라미터 Qwen3.8-Flash-Next를 실행하고 localhost API를 제공합니다.

대체할 수 있는 제품:ChatGPTClaude

GitHub에서 보기
스타
27,379
포크
2,899
열린 이슈
1,326
마지막 커밋
그저께

어떤 프로젝트인가요?

Strata는 서버 대신 일반 게이밍 PC에서 대형 Qwen3.8-Flash-Next 모델을 실행하는 추론 엔진입니다. VRAM이 12GB 이상인 NVIDIA 또는 AMD 그래픽 카드가 장착된 Windows와 Linux를 지원하며, 하드웨어를 감지해 적절한 모델 크기를 선택하는 원클릭 설치 프로그램을 제공합니다. 모델은 GPU, 시스템 RAM, SSD에 나뉘어 배치됩니다. 자주 사용하는 전문가 모델은 GPU에 두고, 나머지는 RAM에 보관하거나 필요할 때 디스크에서 읽어옵니다.

실행 후에는 localhost에서 OpenAI 호환 API와 함께 Anthropic 스타일 및 OpenAI Responses 엔드포인트를 제공하므로, 기존 앱과 Claude Code 같은 코딩 에이전트는 base URL만 바꿔 연결할 수 있습니다. 내장 브라우저 UI에서는 채팅을 하고 GPU, CPU, RAM 사용량을 실시간으로 모니터링할 수 있습니다. 선택적으로 이미지 입력을 지원하며, 메모리 용량에 맞춰 여러 양자화 크기의 모델을 실행할 수 있습니다.

핵심 기능

  • 01VRAM이 12GB 이상인 NVIDIA 또는 AMD GPU에서 125B 파라미터 모델을 실행합니다.
  • 02localhost에서 OpenAI 호환, Anthropic 및 OpenAI Responses API를 제공합니다.
  • 03브라우저 채팅 인터페이스와 GPU, CPU, RAM 사용량 실시간 모니터를 제공합니다.
  • 04사용 가능한 RAM에 맞춰 여러 양자화 모델 크기를 선택할 수 있습니다.
  • 05선택적으로 이미지 입력을 지원하며 MCP 서버를 통해 AI 코딩 에이전트에서 사용할 수 있습니다.

활용 사례

  • 코드를 클라우드 서비스에 보내지 않고 로컬에서 성능 좋은 모델로 코딩하기.
  • Claude Code나 OpenAI 호환 도구를 자신의 PC에서 실행되는 모델에 연결하기.
  • 일반 소비자용 GPU 한 대에서 대형 양자화 모델을 시험해 보기.
  • 개인 정보 보호를 위해 채팅과 문서를 자신의 컴퓨터에 보관하기.

토픽

#llm#local-inference#gpu#openai-api#quantization#coding-agent

자주 묻는 질문

Strata은(는) 무엇인가요?
일반 NVIDIA 또는 AMD GPU PC에서 125B 파라미터 Qwen3.8-Flash-Next를 실행하고 localhost API를 제공합니다. Strata는 서버 대신 일반 게이밍 PC에서 대형 Qwen3.8-Flash-Next 모델을 실행하는 추론 엔진입니다. VRAM이 12GB 이상인 NVIDIA 또는 AMD 그래픽 카드가 장착된 Windows와 Linux를 지원하며, 하드웨어를 감지해 적절한 모델 크기를 선택하는 원클릭 설치 프로그램을 제공합니다. 모델은 GPU, 시스템 RAM, SSD에 나뉘어 배치됩니다. 자주 사용하는 전문가 모델은 GPU에 두고, 나머지는 RAM에 보관하거나 필요할 때 디스크에서 읽어옵니다.
Strata은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Strata은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Strata은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Strata의 마지막 커밋은 2026년 10월 17일입니다.
Strata은(는) 어디에 사용할 수 있나요?
코드를 클라우드 서비스에 보내지 않고 로컬에서 성능 좋은 모델로 코딩하기. Claude Code나 OpenAI 호환 도구를 자신의 PC에서 실행되는 모델에 연결하기. 일반 소비자용 GPU 한 대에서 대형 양자화 모델을 시험해 보기. 개인 정보 보호를 위해 채팅과 문서를 자신의 컴퓨터에 보관하기.
Strata은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Niko1221/Strata

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트