professorpalmer/mirai-s-ada

어떤 프로젝트인가요?

핵심 기능

• 01q8_0 K/V 캐시를 사용해 12GB RTX 4070에서 262,144토큰 컨텍스트 윈도우를 실행합니다.
• 02모든 컨텍스트 길이 구간에서 MTP 초안 작성을 사용합니다.
• 03Windows 런처와 Linux 시작 스크립트를 제공합니다.
• 04에이전트 워크플로를 위한 선택형 에이전트 계층을 포함합니다.
• 05여러 컨텍스트 길이에서 측정한 디코드 속도와 벤치마크 결과를 공개합니다.

활용 사례

• 12GB 소비자용 GPU 한 장에서 긴 컨텍스트를 지원하는 대형 로컬 LLM을 실행합니다.
• 로컬 하드웨어에서 긴 컨텍스트를 사용하는 에이전트 워크플로를 실험합니다.
• 비슷한 하드웨어에서 공개된 속도 및 품질 측정 결과를 재현합니다.

빠른 시작

1. 1

   Windows 및 Linux용 설정 가이드를 읽으세요

2. 2

   Linux 서버 스크립트를 실행하세요

   start-server.sh

사용 전 알아둘 점

• !12 GB RTX 4070 전용입니다. README에 명시된 측정 결과는 다른 하드웨어를 대상으로 하지 않습니다.
• !라이선스가 NOASSERTION으로 표시되어 있어 라이선스 조건이 불분명하므로 사용 전에 확인해야 합니다.
• !타사 GGUF 변환과 실험 단계의 업스트림 모델에 의존합니다.

토픽

자주 묻는 질문

mirai-s-ada은(는) 무엇인가요?

12GB RTX 4070에서 Mirai S 27B(Qwen3.8-27B GGUF)를 262k 토큰 전체 컨텍스트와 q8_0 K/V 캐시로 서빙하는 설정입니다. 이 저장소는 VRAM 12GB의 일반 소비자용 GPU 한 장에서 실행되는 Mirai S 27B 서빙 설정입니다. Mirai S 27B는 Qwen3.8-27B 기반 모델입니다. 가중치를 변경하지 않은 모델의 GGUF 변환본을 사용하며, Windows용 런처와 Linux용 `start-server.sh` 스크립트를 제공합니다.

mirai-s-ada은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

mirai-s-ada은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

mirai-s-ada은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. mirai-s-ada의 마지막 커밋은 2026년 10월 20일입니다.

mirai-s-ada은(는) 어디에 사용할 수 있나요?

12GB 소비자용 GPU 한 장에서 긴 컨텍스트를 지원하는 대형 로컬 LLM을 실행합니다. 로컬 하드웨어에서 긴 컨텍스트를 사용하는 에이전트 워크플로를 실험합니다. 비슷한 하드웨어에서 공개된 속도 및 품질 측정 결과를 재현합니다.

mirai-s-ada는 어떻게 설치하나요?

Windows 및 Linux용 설정 가이드를 읽으세요 Linux 서버 스크립트를 실행하세요: start-server.sh

mirai-s-ada은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/professorpalmer/mirai-s-ada