JakeATX/llamAmpere

어떤 프로젝트인가요?

핵심 기능

• 01Ampere 기반 RTX 30 시리즈 카드, 특히 RTX 3090과 3090 Ti를 대상으로 합니다.
• 02내장 MTP draft head를 사용해 Qwen3.8 27B를 더 빠르게 생성합니다.
• 03200K 토큰 이상의 컨텍스트를 위한 KV-cache 양자화를 제공합니다.
• 04Flash-Next의 expert를 GPU와 시스템 RAM에 나눠 배치합니다.
• 05llama-server를 통해 OpenAI 호환 HTTP 서버를 제공합니다.

활용 사례

• RTX 3090 한 장에서 긴 컨텍스트의 Qwen3.8 모델을 로컬로 실행합니다.
• 24 GB 카드에서 코딩 도구나 RAG 도구용 로컬 OpenAI 호환 엔드포인트를 제공합니다.
• 문서화된 메모리 설정을 사용해 대형 컨텍스트 윈도우로 12 GB 소비자용 GPU를 시험합니다.

빠른 시작

1. 1

   v0.6.2 태그의 llamAmpere를 클론합니다

   git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git
2. 2

   폴더로 이동한 다음 RTX 30 시리즈(sm86)용 CUDA 빌드를 구성합니다

   cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON
3. 3

   llama-server 바이너리를 빌드합니다

   cmake --build build-sm86 -j8 --target llama-server
4. 4

   Swift 1.5 27B 모델로 서버를 시작합니다(첫 실행 시 다운로드되며 http://127.0.0.1:8080 에서 요청을 수신합니다)

   ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

사용 전 알아둘 점

• !NVIDIA RTX 30 시리즈(Ampere) 카드, 주로 RTX 3090에 맞춰 빌드 및 튜닝되어 다른 GPU는 대상이 아닙니다.
• !빠른 시작에는 24GB 카드와 CUDA 12 이상 툴킷이 필요하며, 소스에서 빌드합니다.
• !모델 파일이 매우 크며, 릴리스 노트에 따르면 이전 파일 형식은 더 이상 로드되지 않습니다.

포함된 컬렉션

토픽

자주 묻는 질문

llamAmpere은(는) 무엇인가요?

Qwen3.8 모델을 로컬에서 실행하기 위해 NVIDIA RTX 30 시리즈 Ampere 카드, 특히 RTX 3090에 맞춰 튜닝한 llama.cpp 포크입니다. llamAmpere는 언어 모델을 로컬 컴퓨터에서 실행하는 오픈소스 프로그램인 llama.cpp의 포크입니다. NVIDIA RTX 30 시리즈 “Ampere” 그래픽 카드에 맞춰 튜닝했으며, 주요 대상으로 RTX 3090과 3090 Ti를 삼습니다. Qwen3.8 모델에 초점을 맞추고 있으며, 생성 속도를 높이기 위해 여러 토큰 앞을 예측하는 내장 MTP draft head가 있는 27B 모델과 Flash-Next 변형도 지원합니다.

llamAmpere은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llamAmpere은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llamAmpere은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llamAmpere의 마지막 커밋은 2026년 11월 6일입니다.

llamAmpere은(는) 어디에 사용할 수 있나요?

RTX 3090 한 장에서 긴 컨텍스트의 Qwen3.8 모델을 로컬로 실행합니다. 24 GB 카드에서 코딩 도구나 RAG 도구용 로컬 OpenAI 호환 엔드포인트를 제공합니다. 문서화된 메모리 설정을 사용해 대형 컨텍스트 윈도우로 12 GB 소비자용 GPU를 시험합니다.

llamAmpere는 어떻게 설치하나요?

v0.6.2 태그의 llamAmpere를 클론합니다: git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git 폴더로 이동한 다음 RTX 30 시리즈(sm86)용 CUDA 빌드를 구성합니다: cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON llama-server 바이너리를 빌드합니다: cmake --build build-sm86 -j8 --target llama-server Swift 1.5 27B 모델로 서버를 시작합니다(첫 실행 시 다운로드되며 http://127.0.0.1:8080 에서 요청을 수신합니다): ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

llamAmpere은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/JakeATX/llamAmpere