Repolode
Enviar
utilityai

utilityai/llama-cpp-rs

Bindings de Rust para llama.cpp que permiten cargar y ejecutar modelos de lenguaje GGUF localmente mediante el crate llama-cpp-2.

Ver en GitHub
Estrellas
664
Forks
261
Issues abiertos
62
Último commit
hace 3 días

¿Qué es?

llama-cpp-rs proporciona bindings de Rust para llama.cpp, la biblioteca de C/C++ para ejecutar modelos de lenguaje grandes. Se publica como el crate llama-cpp-2 en crates.io, mientras que el crate llama-cpp-sys-2 contiene los bindings de bajo nivel.

El proyecto está diseñado para seguir de cerca llama.cpp y mantenerse próximo a su API de C sin añadir una capa de abstracción pesada. Por eso, no sigue estrictamente semver y sus versiones se actualizan para coincidir con los cambios de llama.cpp upstream.

El repositorio incluye un ejemplo sencillo que carga un modelo GGUF —como un modelo Llama 2 cuantizado descargado de Hugging Face— y genera texto. La compatibilidad con GPU CUDA se activa mediante un feature flag de cargo.

Funciones clave

  • 01Proporciona bindings de Rust para llama.cpp mediante el crate llama-cpp-2.
  • 02Carga archivos de modelos GGUF para generar texto localmente.
  • 03Incluye los bindings de bajo nivel de llama-cpp-sys-2 junto con el crate de nivel superior.
  • 04Admite aceleración por GPU con CUDA mediante un feature flag de cargo.
  • 05Se mantiene próximo a la API de llama.cpp upstream para incorporar actualizaciones rápidamente.

Casos de uso

  • Integrar inferencia local de LLM en una aplicación de Rust sin usar un servidor aparte.
  • Ejecutar modelos GGUF cuantizados, como Llama 2, en un equipo local.
  • Crear herramientas en Rust que necesiten acceso directo a la funcionalidad de llama.cpp.

Inicio rápido

  1. 1

    Clona el repositorio junto con sus submódulos

    git clone --recursive https://github.com/utilityai/llama-cpp-rs
  2. 2

    Ve al directorio del proyecto

    cd llama-cpp-rs
  3. 3

    Ejecuta el ejemplo sencillo (añade --features cuda si tienes una GPU CUDA)

    cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

Antes de usarlo

  • El proyecto está diseñado para seguir de cerca a llama.cpp, por lo que se parece a bindings sin procesar y no sigue semver de forma significativa.
  • Para compilar el ejemplo, es necesario clonar los submódulos de git y contar con una toolchain de Rust funcional.

En colecciones

Ejecuta LLM en local

Temas

#rust#llm#llama-cpp#inference#gguf#bindings#local-llm

Preguntas frecuentes

¿Qué es llama-cpp-rs?
Bindings de Rust para llama.cpp que permiten cargar y ejecutar modelos de lenguaje GGUF localmente mediante el crate llama-cpp-2. llama-cpp-rs proporciona bindings de Rust para llama.cpp, la biblioteca de C/C++ para ejecutar modelos de lenguaje grandes. Se publica como el crate llama-cpp-2 en crates.io, mientras que el crate llama-cpp-sys-2 contiene los bindings de bajo nivel.
¿llama-cpp-rs es gratuito? ¿Qué licencia tiene?
llama-cpp-rs es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿llama-cpp-rs sigue mantenido?
Mantenimiento activo. El último commit de llama-cpp-rs fue el 4 nov 2026.
¿Para qué puedo usar llama-cpp-rs?
Integrar inferencia local de LLM en una aplicación de Rust sin usar un servidor aparte. Ejecutar modelos GGUF cuantizados, como Llama 2, en un equipo local. Crear herramientas en Rust que necesiten acceso directo a la funcionalidad de llama.cpp.
¿Cómo se instala llama-cpp-rs?
Clona el repositorio junto con sus submódulos: git clone --recursive https://github.com/utilityai/llama-cpp-rs Ve al directorio del proyecto: cd llama-cpp-rs Ejecuta el ejemplo sencillo (añade --features cuda si tienes una GPU CUDA): cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf
¿Dónde consigo llama-cpp-rs?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/utilityai/llama-cpp-rs

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados