Repolode
Enviar
microsoft

microsoft/BitNet

Framework oficial da Microsoft para inferência em CPU/GPU de LLMs de 1 bit (ternários, 1,58 bit), baseado no llama.cpp.

Ver no GitHub
Estrelas
41,213
Forks
3,836
Issues abertas
375
Último commit
há 3 meses

O que é?

bitnet.cpp é um framework de inferência para LLMs de 1 bit e ternários, como o BitNet b1.58. Ele oferece kernels otimizados (I2_S, TL1, TL2) que executam esses modelos em CPUs x86 e ARM, além de um kernel oficial para GPU, voltado à implantação acelerada. O projeto é baseado no código do llama.cpp e usa arquivos de modelo GGUF.

O framework é voltado à implantação local e em dispositivos de borda de modelos grandes. Os resultados publicados indicam ganhos de velocidade em relação a modelos de referência de precisão total em CPUs e reduções substanciais no consumo de energia. Também é possível executar um modelo BitNet b1.58 de 100 bilhões de parâmetros em uma única CPU. Entre os modelos oficiais estão BitNet-b1.58-2B-4T e modelos de embeddings de 1 bit; vários modelos comunitários e de terceiros de 1,58 bit também são compatíveis.

A configuração usa um script Python que baixa um modelo do Hugging Face, faz a conversão e compila o runtime com CMake e clang. As ferramentas incluídas permitem executar inferência conversacional, fazer benchmarks de ponta a ponta e converter checkpoints safetensors.

Recursos principais

  • 01Kernels de CPU otimizados (I2_S, TL1, TL2) para inferência de modelos de 1,58 bit em x86 e ARM.
  • 02Kernel oficial de inferência em GPU para modelos de 1 bit.
  • 03Modo conversacional para modelos instruct por meio de um script de linha de comando.
  • 04Conversão de checkpoints safetensors para o formato GGUF.
  • 05Script integrado de benchmark de ponta a ponta para medir a velocidade de geração.

Casos de uso

  • Executar localmente um LLM de 1 bit em um laptop ou servidor com CPU, sem GPU.
  • Implantar modelos de linguagem pequenos e eficientes em energia em dispositivos de borda.
  • Comparar a velocidade de inferência de modelos ternários com a de modelos de precisão total.
  • Experimentar modelos de embeddings no estilo BitNet em CPUs.

Início rápido

  1. 1

    Clone o repositório com os submódulos

    git clone --recursive https://github.com/microsoft/BitNet.git
  2. 2

    Acesse o diretório do projeto

    cd BitNet
  3. 3

    Crie um ambiente conda e instale as dependências do Python

    pip install -r requirements.txt
  4. 4

    Baixe o modelo e configure o ambiente para inferência

    python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

Antes de usar

  • Para compilar a partir do código-fonte, é necessário um conjunto de ferramentas C++ com clang 18 ou superior e CMake 3.22 ou superior.
  • Usuários do Windows precisam instalar o Visual Studio 2022 com os componentes de C++ e Clang.
  • Segundo o README, o suporte a NPU ainda não está disponível.

Tópicos

#llm#inference#quantization#1-bit#cpu-inference#ternary-weights#edge-ai#llama-cpp

Perguntas frequentes

O que é BitNet?
Framework oficial da Microsoft para inferência em CPU/GPU de LLMs de 1 bit (ternários, 1,58 bit), baseado no llama.cpp. bitnet.cpp é um framework de inferência para LLMs de 1 bit e ternários, como o BitNet b1.58. Ele oferece kernels otimizados (I2_S, TL1, TL2) que executam esses modelos em CPUs x86 e ARM, além de um kernel oficial para GPU, voltado à implantação acelerada. O projeto é baseado no código do llama.cpp e usa arquivos de modelo GGUF.
BitNet é gratuito? Qual é a licença?
BitNet é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
BitNet ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de BitNet foi em 27 de jul. de 2026.
Para que posso usar BitNet?
Executar localmente um LLM de 1 bit em um laptop ou servidor com CPU, sem GPU. Implantar modelos de linguagem pequenos e eficientes em energia em dispositivos de borda. Comparar a velocidade de inferência de modelos ternários com a de modelos de precisão total. Experimentar modelos de embeddings no estilo BitNet em CPUs.
Como instalar BitNet?
Clone o repositório com os submódulos: git clone --recursive https://github.com/microsoft/BitNet.git Acesse o diretório do projeto: cd BitNet Crie um ambiente conda e instale as dependências do Python: pip install -r requirements.txt Baixe o modelo e configure o ambiente para inferência: python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
Onde consigo BitNet?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/BitNet

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados