mw00/project-maya

어떤 프로젝트인가요?

핵심 기능

• 01자주 사용하는 expert는 VRAM에, 그다음 expert는 RAM에, 나머지는 NVMe SSD에 저장하는 계층형 구조로, 대화가 진행되면 저장 위치를 이동합니다.
• 02GLM-5.3-Flash용 양자화 모델(Maya-S/S24/M/M-Derisked/L)과 DeepSeek-V4.1-Flash-1017용 별도 엔진, 실험 단계인 MiniMax-M3.1-Flash용 엔진을 제공합니다.
• 03OpenAI 호환 /v1 API와 Anthropic 호환 /v1/messages 엔드포인트를 제공해 Claude Code 같은 도구를 로컬 서버에 연결할 수 있습니다.
• 04/v1/responses는 텍스트 및 이미지 대화, 스트리밍, function tool call, 스키마 검증 출력, 취소 가능한 백그라운드 작업을 지원합니다.
• 05채팅별 지침 설정, 편집 및 재생성, HTML 미리보기 기능과 모델 및 하드웨어의 실시간 모니터링을 제공하는 브라우저 채팅을 지원합니다.
• 06NVIDIA GPU 1~16개(컴퓨트 성능 7.0 이상)에서 실행되며, AMD ROCm 7과 Windows 10/11 지원은 실험 단계입니다.
• 07전역 또는 요청별로 설정할 수 있는 네 가지 추론 수준(Off, Low, High, Max)과 최대 8개 요청의 병렬 디코딩을 지원합니다.
• 08KV streaming은 attention cache를 VRAM 윈도우와 함께 RAM에 보관해 단일 RTX 3090에서도 1M 토큰 컨텍스트를 사용할 수 있게 합니다.
• 09--calibrate는 10~15분 동안 시스템에 맞게 엔진을 조정하고, --report는 버그 제보에 첨부할 하드웨어 및 속도 보고서를 작성합니다.

활용 사례

• 데이터가 기기 밖으로 나가면 안 되는 워크스테이션이나 소형 서버에서 대형 MoE 모델을 비공개로 호스팅합니다.
• Claude Code 같은 코딩 에이전트를 Anthropic 호환 엔드포인트를 통해 로컬 모델에 연결합니다.
• 병렬 요청으로 여러 개발자나 에이전트 세션이 한 시스템을 함께 사용합니다.
• KV streaming을 활용해 단일 소비자용 GPU에서 최대 1M 토큰의 장문 문서 대화를 실행합니다.
• 다운로드 전에 정확도 유지율과 메모리 사용량을 비교해 양자화 단계를 선택합니다.
• Linux CUDA 시스템 대신 AMD GPU나 Windows 워크스테이션에서 로컬 대형 모델 추론을 시험합니다.

빠른 시작

1. 1

   저장소를 클론하고 폴더를 엽니다

2. 2

   설정 스크립트를 실행하고 모델을 선택합니다

   ./setup.sh --setup
3. 3

   서버를 시작하고 브라우저에서 채팅합니다

사용 전 알아둘 점

• !고성능 NVIDIA GPU 환경이 필요하며, AMD와 Windows 지원은 실험 단계입니다.
• !모델 파일은 약 94GB에서 500GB가 넘을 정도로 매우 크며, 빠른 로컬 스토리지가 필요합니다.
• !Maya-M-Derisked 및 MiniMax-M3.1-Flash와 같은 일부 모델 옵션은 실험 단계로 표시되어 있습니다.

포함된 컬렉션

토픽

자주 묻는 질문

project-maya은(는) 무엇인가요?

자체 GPU에서 GLM-5.3-Flash 같은 대형 MoE 모델을 실행하고 OpenAI 호환 API를 제공하는 셀프 호스팅 추론 엔진입니다. Project Maya는 데이터센터 대신 보유한 하드웨어에서 대형 mixture-of-experts 모델을 실행하는 로컬 추론 엔진이자 서버입니다. 엔진은 GLM-5.3-Flash(매개변수 321B, 토큰당 활성 매개변수 약 18B)와 DeepSeek-V4.1-Flash-1017(748B)을 대상으로 합니다. 자주 사용하는 expert는 VRAM에, 그다음 expert는 RAM에 두고 나머지는 NVMe SSD에서 읽습니다. 엔진은 시작할 때 GPU, CPU, RAM, 디스크를 측정해 환경에 맞게 설정을 조정합니다.

project-maya은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

project-maya은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

project-maya은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. project-maya의 마지막 커밋은 2026년 11월 5일입니다.

project-maya은(는) 어디에 사용할 수 있나요?

데이터가 기기 밖으로 나가면 안 되는 워크스테이션이나 소형 서버에서 대형 MoE 모델을 비공개로 호스팅합니다. Claude Code 같은 코딩 에이전트를 Anthropic 호환 엔드포인트를 통해 로컬 모델에 연결합니다. 병렬 요청으로 여러 개발자나 에이전트 세션이 한 시스템을 함께 사용합니다. KV streaming을 활용해 단일 소비자용 GPU에서 최대 1M 토큰의 장문 문서 대화를 실행합니다. 다운로드 전에 정확도 유지율과 메모리 사용량을 비교해 양자화 단계를 선택합니다. Linux CUDA 시스템 대신 AMD GPU나 Windows 워크스테이션에서 로컬 대형 모델 추론을 시험합니다.

project-maya는 어떻게 설치하나요?

저장소를 클론하고 폴더를 엽니다 설정 스크립트를 실행하고 모델을 선택합니다: ./setup.sh --setup 서버를 시작하고 브라우저에서 채팅합니다

project-maya은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mw00/project-maya