bonsai-ada-surgery은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

bonsai-ada-surgery은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

bonsai-ada-surgery은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. bonsai-ada-surgery의 마지막 커밋은 2026년 10월 20일입니다.

bonsai-ada-surgery은(는) 어디에 사용할 수 있나요?

12 GB 소비자용 GPU에서 긴 컨텍스트의 로컬 LLM을 실행합니다. 8 GB RTX GPU에서 코딩 또는 에이전트 도구용 로컬 OpenAI 호환 엔드포인트를 제공합니다. 컨텍스트 길이에 따른 3진 모델의 디코딩 및 프리필 속도를 벤치마크합니다.

bonsai-ada-surgery는 어떻게 설치하나요?

Releases에서 bundle ZIP을 다운로드한 뒤 저장소에 압축을 풉니다 GGUF 모델과 MTP head 파일을 models 폴더에 넣습니다 서버를 시작합니다. OpenAI 호환 API는 포트 8080에서 실행됩니다: .\start-server.ps1

bonsai-ada-surgery은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/professorpalmer/bonsai-ada-surgery

professorpalmer/bonsai-ada-surgery

12 GB 및 8 GB NVIDIA GPU에서 262k 컨텍스트로 1.58비트 Ternary Bonsai 2 27B 모델을 실행하는 런처와 패치된 llama.cpp 구성입니다.

GitHub에서 보기 웹사이트

스타: 82
포크: 6
열린 이슈: 4
마지막 커밋: 15시간 전

어떤 프로젝트인가요?

Ternary Bonsai 2 27B는 PTQ1_0 형식으로 배포되는 1.58비트 3진 모델이며, 용량은 약 5.9 GB입니다. 이 프로젝트는 패치된 PrismML llama.cpp 빌드와 GPU에 맞춰 K/V 캐시 크기를 설정하는 런처를 사용해 일반 소비자용 NVIDIA GPU에서 262,144토큰 전체 컨텍스트 윈도우로 모델을 실행합니다. 12 GB GPU에는 q4_0, 8 GB GPU에는 q3_0을 사용합니다.

저장소에는 추측 디코딩을 위한 MTP 초안 생성, 문법 제약이 적용된 도구 호출, OpenAI 호환 API와 샌드박스 Python 실행 기능을 포함하는 선택형 에이전트 레이어가 추가됩니다. 모델 가중치는 변경되지 않습니다. PowerShell 시작 스크립트가 포함된 Windows 번들을 제공하며, Linux 및 소스 빌드 방법은 별도로 문서화되어 있습니다.

문서에는 RTX 4070과 RTX 2060 SUPER에서 다양한 컨텍스트 길이별 디코딩 속도, 프리필 처리량, HumanEval 결과를 기록한 벤치마크 로그가 포함되어 있습니다.

핵심 기능

0112 GB 및 8 GB NVIDIA GPU에서 262,144토큰 컨텍스트 윈도우를 실행합니다.
02GPU에 따라 q4_0 또는 q3_0을 사용해 K/V 캐시 크기를 자동으로 설정합니다.
03포트 8080에서 OpenAI 호환 API를 제공합니다.
04추측 디코딩을 위한 MTP 초안 생성을 추가합니다.
05문법 제약이 적용된 도구 호출을 지원합니다.
06PowerShell 런처가 포함된 Windows 번들을 제공합니다.

활용 사례

12 GB 소비자용 GPU에서 긴 컨텍스트의 로컬 LLM을 실행합니다.
8 GB RTX GPU에서 코딩 또는 에이전트 도구용 로컬 OpenAI 호환 엔드포인트를 제공합니다.
컨텍스트 길이에 따른 3진 모델의 디코딩 및 프리필 속도를 벤치마크합니다.

빠른 시작

1
Releases에서 bundle ZIP을 다운로드한 뒤 저장소에 압축을 풉니다
2
GGUF 모델과 MTP head 파일을 models 폴더에 넣습니다
3
서버를 시작합니다. OpenAI 호환 API는 포트 8080에서 실행됩니다
.\start-server.ps1

사용 전 알아둘 점

빠른 시작 가이드는 NVIDIA GPU가 장착된 Windows용입니다. Linux의 경우 docs/build에 있는 별도 가이드가 필요합니다.
전체 컨텍스트 윈도우를 실행하려면 VRAM이 8 GB 이상인 NVIDIA 카드가 필요합니다.
라이선스가 NOASSERTION으로 표시되어 있어 저장소의 라이선스 조건이 명확하지 않습니다. README에는 자체 코드에 MIT 라이선스가 적용된다고 나와 있습니다.

토픽

#local-llm #quantization #llama-cpp #cuda #speculative-decoding #long-context #ternary #bonsai #qwen #rtx-4070

자주 묻는 질문

bonsai-ada-surgery은(는) 무엇인가요?: 12 GB 및 8 GB NVIDIA GPU에서 262k 컨텍스트로 1.58비트 Ternary Bonsai 2 27B 모델을 실행하는 런처와 패치된 llama.cpp 구성입니다. Ternary Bonsai 2 27B는 PTQ1_0 형식으로 배포되는 1.58비트 3진 모델이며, 용량은 약 5.9 GB입니다. 이 프로젝트는 패치된 PrismML llama.cpp 빌드와 GPU에 맞춰 K/V 캐시 크기를 설정하는 런처를 사용해 일반 소비자용 NVIDIA GPU에서 262,144토큰 전체 컨텍스트 윈도우로 모델을 실행합니다. 12 GB GPU에는 q4_0, 8 GB GPU에는 q3_0을 사용합니다.
bonsai-ada-surgery은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: bonsai-ada-surgery은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
bonsai-ada-surgery은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. bonsai-ada-surgery의 마지막 커밋은 2026년 10월 20일입니다.
bonsai-ada-surgery은(는) 어디에 사용할 수 있나요?: 12 GB 소비자용 GPU에서 긴 컨텍스트의 로컬 LLM을 실행합니다. 8 GB RTX GPU에서 코딩 또는 에이전트 도구용 로컬 OpenAI 호환 엔드포인트를 제공합니다. 컨텍스트 길이에 따른 3진 모델의 디코딩 및 프리필 속도를 벤치마크합니다.
bonsai-ada-surgery는 어떻게 설치하나요?: Releases에서 bundle ZIP을 다운로드한 뒤 저장소에 압축을 풉니다 GGUF 모델과 MTP head 파일을 models 폴더에 넣습니다 서버를 시작합니다. OpenAI 호환 API는 포트 8080에서 실행됩니다: .\start-server.ps1
bonsai-ada-surgery은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/professorpalmer/bonsai-ada-surgery

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.