Repolode
投稿する
microsoft

microsoft/BitNet

llama.cppをベースにした、1-bit（ternary、1.58-bit）LLM向けMicrosoft公式のCPU/GPU推論フレームワーク。

GitHub で見る
スター
41,213
フォーク
3,836
未解決の Issue
375
最終コミット
3 か月前

これは何？

bitnet.cppは、BitNet b1.58などの1-bitおよびternary LLM向け推論フレームワークです。最適化カーネル（I2_S、TL1、TL2）を備え、x86およびARM CPUでモデルを実行できます。また、高速なデプロイに対応する公式GPUカーネルも提供しています。llama.cppのコードベースを基盤とし、GGUFモデルファイルを使用します。

このフレームワークは、大規模モデルのローカル環境やエッジデバイスへのデプロイを想定しています。公開されている結果では、CPUでフル精度モデルをベースラインとした場合の高速化と、大幅な消費エネルギー削減が報告されており、100BパラメータのBitNet b1.58モデルを単一のCPUで実行できます。公式モデルにはBitNet-b1.58-2B-4Tと1-bit embeddingモデルが含まれ、コミュニティやサードパーティによる複数の1.58-bitモデルにも対応しています。

セットアップではPythonスクリプトを使い、Hugging Faceからモデルをダウンロードして変換し、CMakeとclangでランタイムをビルドします。付属ツールでは、対話形式での推論、エンドツーエンドのベンチマーク、safetensorsチェックポイントからの変換を行えます。

主な機能

  • 01x86およびARMでの1.58-bitモデル推論に対応した最適化CPUカーネル（I2_S、TL1、TL2）。
  • 021-bitモデル推論向けの公式GPUカーネル。
  • 03コマンドラインスクリプトを使った、instructモデル向けの対話モード。
  • 04safetensorsチェックポイントからGGUF形式への変換。
  • 05生成速度を測定する、組み込みのエンドツーエンドベンチマークスクリプト。

ユースケース

  • GPUなしで、ノートPCやサーバーのCPU上で1-bit LLMをローカル実行する。
  • 小型でエネルギー効率に優れた言語モデルをエッジデバイスにデプロイする。
  • ternaryモデルの推論速度をフル精度モデルと比較してベンチマークする。
  • BitNet系embeddingモデルをCPU上で試す。

クイックスタート

  1. 1

    サブモジュールを含めてリポジトリをクローンする

    git clone --recursive https://github.com/microsoft/BitNet.git
  2. 2

    プロジェクトディレクトリに移動する

    cd BitNet
  3. 3

    conda環境を作成し、Pythonの依存関係をインストールする

    pip install -r requirements.txt
  4. 4

    モデルをダウンロードし、推論用の環境を構築する

    python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

使う前に知っておきたいこと

  • ソースからビルドするには、clang 18以降とCMake 3.22以降を含むC++ツールチェーンが必要です。
  • Windowsユーザーは、C++とClangのコンポーネントを含むVisual Studio 2022をインストールする必要があります。
  • READMEによると、NPUはまだサポートされていません。

トピック

#llm#inference#quantization#1-bit#cpu-inference#ternary-weights#edge-ai#llama-cpp

よくある質問

BitNet とは？
llama.cppをベースにした、1-bit（ternary、1.58-bit）LLM向けMicrosoft公式のCPU/GPU推論フレームワーク。 bitnet.cppは、BitNet b1.58などの1-bitおよびternary LLM向け推論フレームワークです。最適化カーネル（I2_S、TL1、TL2）を備え、x86およびARM CPUでモデルを実行できます。また、高速なデプロイに対応する公式GPUカーネルも提供しています。llama.cppのコードベースを基盤とし、GGUFモデルファイルを使用します。
BitNet は無料で使えますか？ライセンスは？
BitNet は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
BitNet は今もメンテナンスされていますか？
半年以内に更新あり。BitNet の最終コミットは 2026年7月27日 です。
BitNet は何に使えますか？
GPUなしで、ノートPCやサーバーのCPU上で1-bit LLMをローカル実行する。 小型でエネルギー効率に優れた言語モデルをエッジデバイスにデプロイする。 ternaryモデルの推論速度をフル精度モデルと比較してベンチマークする。 BitNet系embeddingモデルをCPU上で試す。
BitNet のインストール方法は？
サブモジュールを含めてリポジトリをクローンする: git clone --recursive https://github.com/microsoft/BitNet.git プロジェクトディレクトリに移動する: cd BitNet conda環境を作成し、Pythonの依存関係をインストールする: pip install -r requirements.txt モデルをダウンロードし、推論用の環境を構築する: python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
BitNet はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/microsoft/BitNet

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト