Repolode
Предложить
microsoft

microsoft/BitNet

Официальный фреймворк Microsoft для инференса 1-битных (тернарных, 1,58-битных) LLM на CPU и GPU, созданный на базе llama.cpp.

Открыть на GitHub
Звёзды
41,213
Форки
3,836
Открытые issues
375
Последний коммит
3 месяца назад

Что это?

bitnet.cpp — фреймворк для инференса 1-битных и тернарных LLM, таких как BitNet b1.58. Он включает оптимизированные ядра (I2_S, TL1, TL2) для запуска этих моделей на CPU архитектур x86 и ARM, а также официальное ядро GPU для ускоренного развертывания. Проект основан на кодовой базе llama.cpp и использует файлы моделей в формате GGUF.

Фреймворк предназначен для локального развертывания и запуска крупных моделей на периферийных устройствах. Согласно опубликованным результатам, на CPU он превосходит по скорости базовые модели с полной точностью и значительно снижает энергопотребление; кроме того, он позволяет запускать модель BitNet b1.58 с 100 млрд параметров на одном CPU. Среди официальных моделей — BitNet-b1.58-2B-4T и модели с 1-битными эмбеддингами; также поддерживаются несколько моделей с точностью 1,58 бита от сообщества и сторонних разработчиков.

Для настройки используется Python-скрипт, который скачивает модель с Hugging Face, конвертирует её и собирает среду выполнения с помощью CMake и clang. В комплект входят инструменты для диалогового инференса, сквозного бенчмаркинга и конвертации чекпойнтов safetensors.

Ключевые возможности

  • 01Оптимизированные ядра CPU (I2_S, TL1, TL2) для инференса моделей с точностью 1,58 бита на x86 и ARM.
  • 02Официальное ядро GPU для инференса 1-битных моделей.
  • 03Диалоговый режим для instruct-моделей, запускаемый через скрипт командной строки.
  • 04Конвертация чекпойнтов safetensors в формат GGUF.
  • 05Встроенный скрипт для сквозного бенчмаркинга скорости генерации.

Сценарии использования

  • Локальный запуск 1-битной LLM на CPU ноутбука или сервера без GPU.
  • Развертывание компактных и энергоэффективных языковых моделей на периферийных устройствах.
  • Сравнение скорости инференса тернарных моделей с моделями полной точности.
  • Эксперименты с моделями эмбеддингов в стиле BitNet на CPU.

Быстрый старт

  1. 1

    Клонируйте репозиторий вместе с подмодулями

    git clone --recursive https://github.com/microsoft/BitNet.git
  2. 2

    Перейдите в каталог проекта

    cd BitNet
  3. 3

    Создайте окружение conda и установите зависимости Python

    pip install -r requirements.txt
  4. 4

    Скачайте модель и подготовьте окружение для инференса

    python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

Что важно знать

  • Для сборки из исходного кода необходима цепочка инструментов C++ с clang 18 или новее и CMake 3.22 или новее.
  • Пользователям Windows необходимо установить Visual Studio 2022 с компонентами C++ и Clang.
  • Согласно README, поддержка NPU пока недоступна.

Темы

#llm#inference#quantization#1-bit#cpu-inference#ternary-weights#edge-ai#llama-cpp

Частые вопросы

Что такое BitNet?
Официальный фреймворк Microsoft для инференса 1-битных (тернарных, 1,58-битных) LLM на CPU и GPU, созданный на базе llama.cpp. bitnet.cpp — фреймворк для инференса 1-битных и тернарных LLM, таких как BitNet b1.58. Он включает оптимизированные ядра (I2_S, TL1, TL2) для запуска этих моделей на CPU архитектур x86 и ARM, а также официальное ядро GPU для ускоренного развертывания. Проект основан на кодовой базе llama.cpp и использует файлы моделей в формате GGUF.
BitNet можно использовать бесплатно? Какая у него лицензия?
BitNet распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
BitNet всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в BitNet — 27 июл. 2026 г..
Для чего можно использовать BitNet?
Локальный запуск 1-битной LLM на CPU ноутбука или сервера без GPU. Развертывание компактных и энергоэффективных языковых моделей на периферийных устройствах. Сравнение скорости инференса тернарных моделей с моделями полной точности. Эксперименты с моделями эмбеддингов в стиле BitNet на CPU.
Как установить BitNet?
Клонируйте репозиторий вместе с подмодулями: git clone --recursive https://github.com/microsoft/BitNet.git Перейдите в каталог проекта: cd BitNet Создайте окружение conda и установите зависимости Python: pip install -r requirements.txt Скачайте модель и подготовьте окружение для инференса: python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
Где скачать BitNet?
Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/BitNet

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты