Un fork de llama.cpp centrado en acelerar la inferencia en CPU, con más tipos de cuantización y funciones para ejecutar LLMs GGUF localmente.
3,3 mil494C++MITActualizado hace 13 horas
microsoft/BitNet
Framework oficial de inferencia para CPU y GPU de Microsoft, destinado a modelos de lenguaje grandes de 1 bit (ternarios, de 1,58 bits) y basado en llama.cpp.
- Estrellas
- 41,213
- Forks
- 3,836
- Issues abiertos
- 375
- Último commit
- hace 3 meses
¿Qué es?
bitnet.cpp es un framework de inferencia para LLM de 1 bit y ternarios, como BitNet b1.58. Incluye kernels optimizados (I2_S, TL1, TL2) para ejecutar estos modelos en CPU x86 y ARM, además de un kernel oficial para GPU que acelera el despliegue. El proyecto se basa en el código de llama.cpp y usa archivos de modelo GGUF.
El framework está pensado para desplegar modelos grandes en entornos locales y dispositivos edge. Los resultados publicados indican mejoras de velocidad frente a las configuraciones de referencia de precisión completa en CPU y una reducción considerable del consumo energético; además, permite ejecutar un modelo BitNet b1.58 de 100.000 millones de parámetros en una sola CPU. Entre los modelos oficiales se incluyen BitNet-b1.58-2B-4T y modelos de embeddings de 1 bit; también se admiten varios modelos de 1,58 bits de la comunidad y de terceros.
La configuración se realiza con un script de Python que descarga un modelo de Hugging Face, lo convierte y compila el runtime con CMake y clang. Las herramientas incluidas permiten ejecutar inferencias conversacionales, realizar benchmarks de extremo a extremo y convertir checkpoints de safetensors.
Funciones clave
- 01Kernels de CPU optimizados (I2_S, TL1, TL2) para inferir con modelos de 1,58 bits en x86 y ARM.
- 02Kernel oficial de inferencia para GPU para modelos de 1 bit.
- 03Modo conversacional para modelos instruct mediante un script de línea de comandos.
- 04Conversión de checkpoints de safetensors al formato GGUF.
- 05Script integrado de benchmark de extremo a extremo para medir la velocidad de generación.
Casos de uso
- Ejecutar localmente un LLM de 1 bit en la CPU de una laptop o un servidor, sin GPU.
- Desplegar modelos de lenguaje pequeños y eficientes en el consumo de energía en dispositivos edge.
- Comparar la velocidad de inferencia de modelos ternarios con la de modelos de precisión completa.
- Experimentar con modelos de embeddings basados en BitNet en CPU.
Inicio rápido
- 1
Clona el repositorio con los submódulos
git clone --recursive https://github.com/microsoft/BitNet.git - 2
Entra en el directorio del proyecto
cd BitNet - 3
Crea un entorno de conda e instala las dependencias de Python
pip install -r requirements.txt - 4
Descarga el modelo y configura el entorno para la inferencia
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
Antes de usarlo
- Para compilar desde el código fuente, se necesita una cadena de herramientas de C++ con clang 18 o posterior y CMake 3.22 o posterior.
- Los usuarios de Windows deben instalar Visual Studio 2022 con los componentes de C++ y Clang.
- Según el README, la compatibilidad con NPU aún no está disponible.
Temas
Preguntas frecuentes
- ¿Qué es BitNet?
- Framework oficial de inferencia para CPU y GPU de Microsoft, destinado a modelos de lenguaje grandes de 1 bit (ternarios, de 1,58 bits) y basado en llama.cpp. bitnet.cpp es un framework de inferencia para LLM de 1 bit y ternarios, como BitNet b1.58. Incluye kernels optimizados (I2_S, TL1, TL2) para ejecutar estos modelos en CPU x86 y ARM, además de un kernel oficial para GPU que acelera el despliegue. El proyecto se basa en el código de llama.cpp y usa archivos de modelo GGUF.
- ¿BitNet es gratuito? ¿Qué licencia tiene?
- BitNet es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿BitNet sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de BitNet fue el 27 jul 2026.
- ¿Para qué puedo usar BitNet?
- Ejecutar localmente un LLM de 1 bit en la CPU de una laptop o un servidor, sin GPU. Desplegar modelos de lenguaje pequeños y eficientes en el consumo de energía en dispositivos edge. Comparar la velocidad de inferencia de modelos ternarios con la de modelos de precisión completa. Experimentar con modelos de embeddings basados en BitNet en CPU.
- ¿Cómo se instala BitNet?
- Clona el repositorio con los submódulos: git clone --recursive https://github.com/microsoft/BitNet.git Entra en el directorio del proyecto: cd BitNet Crea un entorno de conda e instala las dependencias de Python: pip install -r requirements.txt Descarga el modelo y configura el entorno para la inferencia: python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
- ¿Dónde consigo BitNet?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/BitNet
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado hace 14 horas
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado anteayer
Motor de inferencia local que ejecuta el gran modelo Qwen3.8-Flash-Next en GPU NVIDIA o AMD de consumo con Windows o Linux, mediante APIs compatibles con OpenAI y Anthropic.
29,1 mil3,1 milC++MITActualizado hace 6 horas
Un motor de serving nativo para el edge que ejecuta grandes modelos de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU y CPU de consumo.
14,6 mil1,5 milPythonApache-2.0Actualizado anteayer
Motor mínimo de inferencia de LLM en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas con unos 45 MB de RAM y sin dependencias.
2,2 mil293CMITActualizado hace 8 meses