BitNet은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

BitNet은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

BitNet은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. BitNet의 마지막 커밋은 2026년 7월 27일입니다.

BitNet은(는) 어디에 사용할 수 있나요?

GPU 없이 노트북이나 서버 CPU에서 1-bit LLM을 로컬로 실행. 엣지 기기에 작고 에너지 효율적인 언어 모델 배포. ternary 모델의 추론 속도를 full-precision 모델과 비교해 벤치마킹. CPU에서 BitNet 계열 임베딩 모델 실험.

BitNet는 어떻게 설치하나요?

서브모듈을 포함해 저장소를 클론합니다: git clone --recursive https://github.com/microsoft/BitNet.git 프로젝트 디렉터리로 이동합니다: cd BitNet conda 환경을 만들고 Python 종속성을 설치합니다: pip install -r requirements.txt 모델을 다운로드하고 추론 환경을 빌드합니다: python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

BitNet은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/BitNet

microsoft/BitNet

llama.cpp 기반의 1-bit(ternary, 1.58-bit) 대규모 언어 모델용 Microsoft 공식 CPU/GPU 추론 프레임워크입니다.

GitHub에서 보기

스타: 41,213
포크: 3,836
열린 이슈: 375
마지막 커밋: 3개월 전

어떤 프로젝트인가요?

bitnet.cpp는 BitNet b1.58 같은 1-bit 및 ternary LLM을 위한 추론 프레임워크입니다. x86 및 ARM CPU에서 모델을 실행하는 최적화 커널(I2_S, TL1, TL2)을 제공하며, 배포 속도를 높이는 공식 GPU 커널도 포함합니다. 프로젝트는 llama.cpp 코드베이스를 기반으로 하며 GGUF 모델 파일을 사용합니다.

이 프레임워크는 대규모 모델을 로컬 및 엣지 환경에 배포하는 것을 목표로 합니다. 공개된 결과에 따르면 CPU에서 full-precision 기준 모델보다 빠르게 실행되고 에너지 사용량도 크게 줄이며, 단일 CPU에서 100B 파라미터 BitNet b1.58 모델을 실행할 수 있습니다. 공식 모델로는 BitNet-b1.58-2B-4T와 1-bit 임베딩 모델이 있으며, 커뮤니티 및 서드파티의 여러 1.58-bit 모델도 지원합니다.

설정 과정에서는 Python 스크립트가 Hugging Face 모델을 다운로드하고 변환한 뒤, CMake와 clang으로 런타임을 빌드합니다. 포함된 도구로는 대화형 추론, 엔드투엔드 벤치마킹, safetensors 체크포인트 변환 기능이 있습니다.

핵심 기능

01x86 및 ARM에서 1.58-bit 모델을 추론하는 최적화 CPU 커널(I2_S, TL1, TL2).
021-bit 모델 추론을 위한 공식 GPU 커널.
03명령줄 스크립트를 통한 instruct 모델 대화 모드.
04safetensors 체크포인트를 GGUF 형식으로 변환.
05생성 속도를 측정하는 내장 엔드투엔드 벤치마크 스크립트.

활용 사례

GPU 없이 노트북이나 서버 CPU에서 1-bit LLM을 로컬로 실행.
엣지 기기에 작고 에너지 효율적인 언어 모델 배포.
ternary 모델의 추론 속도를 full-precision 모델과 비교해 벤치마킹.
CPU에서 BitNet 계열 임베딩 모델 실험.

빠른 시작

1
서브모듈을 포함해 저장소를 클론합니다
git clone --recursive https://github.com/microsoft/BitNet.git
2
프로젝트 디렉터리로 이동합니다
cd BitNet
3
conda 환경을 만들고 Python 종속성을 설치합니다
pip install -r requirements.txt
4
모델을 다운로드하고 추론 환경을 빌드합니다
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

사용 전 알아둘 점

소스에서 빌드하려면 clang 18 이상과 CMake 3.22 이상이 포함된 C++ 툴체인이 필요합니다.
Windows 사용자는 C++ 및 Clang 구성 요소가 포함된 Visual Studio 2022를 설치해야 합니다.
README에 따르면 NPU는 아직 지원되지 않습니다.

토픽

#llm #inference #quantization #1-bit #cpu-inference #ternary-weights #edge-ai #llama-cpp

자주 묻는 질문

BitNet은(는) 무엇인가요?: llama.cpp 기반의 1-bit(ternary, 1.58-bit) 대규모 언어 모델용 Microsoft 공식 CPU/GPU 추론 프레임워크입니다. bitnet.cpp는 BitNet b1.58 같은 1-bit 및 ternary LLM을 위한 추론 프레임워크입니다. x86 및 ARM CPU에서 모델을 실행하는 최적화 커널(I2_S, TL1, TL2)을 제공하며, 배포 속도를 높이는 공식 GPU 커널도 포함합니다. 프로젝트는 llama.cpp 코드베이스를 기반으로 하며 GGUF 모델 파일을 사용합니다.
BitNet은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: BitNet은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
BitNet은(는) 아직 유지보수되고 있나요?: 6개월 이내 업데이트. BitNet의 마지막 커밋은 2026년 7월 27일입니다.
BitNet은(는) 어디에 사용할 수 있나요?: GPU 없이 노트북이나 서버 CPU에서 1-bit LLM을 로컬로 실행. 엣지 기기에 작고 에너지 효율적인 언어 모델 배포. ternary 모델의 추론 속도를 full-precision 모델과 비교해 벤치마킹. CPU에서 BitNet 계열 임베딩 모델 실험.
BitNet는 어떻게 설치하나요?: 서브모듈을 포함해 저장소를 클론합니다: git clone --recursive https://github.com/microsoft/BitNet.git 프로젝트 디렉터리로 이동합니다: cd BitNet conda 환경을 만들고 Python 종속성을 설치합니다: pip install -r requirements.txt 모델을 다운로드하고 추론 환경을 빌드합니다: python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
BitNet은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/BitNet

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.