microsoft/BitNet

这是什么？

核心功能

• 01针对 x86 与 ARM CPU 的优化内核（I2_S、TL1、TL2），用于 1.58-bit 模型推理。
• 02提供面向 1-bit 模型的官方 GPU 推理内核。
• 03通过命令行脚本支持指令模型的对话模式。
• 04支持将 safetensors 检查点转换为 GGUF 格式。
• 05内置端到端基准测试脚本，用于测量生成速度。

适用场景

• 在没有 GPU 的笔记本或服务器 CPU 上本地运行 1-bit 大模型。
• 在边缘设备上部署小型、低能耗的语言模型。
• 对比三值模型与全精度模型的推理速度。
• 在 CPU 上试验 BitNet 风格的嵌入模型。

快速上手

1. 1

   递归克隆仓库（含子模块）

   git clone --recursive https://github.com/microsoft/BitNet.git
2. 2

   进入项目目录

   cd BitNet
3. 3

   创建 conda 环境并安装 Python 依赖

   pip install -r requirements.txt
4. 4

   下载模型并构建推理环境

   python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

使用前须知

• !从源码构建需要 clang 18 及以上版本和 CMake 3.22 及以上版本。
• !Windows 用户需要安装带 C++ 和 Clang 组件的 Visual Studio 2022。
• !README 称 NPU 支持尚未提供。

标签

常见问题

BitNet 是什么？

微软官方推出的 1-bit 大语言模型推理框架，支持 CPU 与 GPU 上的低比特推理。 bitnet.cpp 是面向 1-bit 及三值（1.58-bit）大语言模型的推理框架，支持 BitNet b1.58 等模型。它提供 I2_S、TL1、TL2 等优化内核，可在 x86 和 ARM CPU 上运行这些模型，并提供官方 GPU 内核用于加速部署。项目基于 llama.cpp 代码库，使用 GGUF 格式的模型文件。

BitNet 可以免费使用吗？用的什么许可证？

BitNet 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

BitNet 还在维护吗？

半年内有更新。BitNet 最近一次提交是在 2026年7月27日。

BitNet 适合用来做什么？

在没有 GPU 的笔记本或服务器 CPU 上本地运行 1-bit 大模型。 在边缘设备上部署小型、低能耗的语言模型。 对比三值模型与全精度模型的推理速度。 在 CPU 上试验 BitNet 风格的嵌入模型。

BitNet 怎么安装和运行？

递归克隆仓库（含子模块）: git clone --recursive https://github.com/microsoft/BitNet.git 进入项目目录: cd BitNet 创建 conda 环境并安装 Python 依赖: pip install -r requirements.txt 下载模型并构建推理环境: python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

在哪里获取 BitNet？

源代码和安装说明在 GitHub 上：https://github.com/microsoft/BitNet