SciSharp/LLamaSharp

¿Qué es?

Funciones clave

• 01Carga archivos de modelos GGUF y ejecuta localmente modelos de la familia LLaMA.
• 02Ofrece backends de CPU, CUDA, Metal y Vulkan que se pueden instalar mediante NuGet.
• 03Proporciona API de sesiones de chat, ejecutores y muestreo para aplicaciones de C#.
• 04Admite RAG y modelos multimodales LLaVA.
• 05Se integra con Semantic Kernel y otros frameworks de IA para .NET.

Casos de uso

• Añadir un chatbot sin conexión a una aplicación de escritorio o web de .NET.
• Ejecutar un LLM privado en una GPU local sin enviar datos a una API en la nube.
• Crear funciones de RAG en una base de código de C# con un modelo local.
• Probar modelos GGUF de Hugging Face dentro de .NET.

Inicio rápido

1. 1

   Instala el paquete LLamaSharp desde NuGet

   PM> Install-Package LLamaSharp
2. 2

   Instala uno o varios paquetes de backend (CPU, CUDA, Vulkan) compatibles con tu dispositivo

3. 3

   Descarga un archivo de modelo GGUF, por ejemplo, de Hugging Face

4. 4

   Añade a tu proyecto el código de ejemplo de chat del README y configura la ruta del modelo

Antes de usarlo

• !Los modelos deben estar en formato GGUF y es posible que los archivos GGUF antiguos no funcionen con versiones más recientes.
• !La aceleración por GPU requiere un paquete de backend compatible con tu configuración de CUDA o Vulkan. En dispositivos no compatibles, quizá tengas que compilar el backend por tu cuenta.

Temas

Preguntas frecuentes

¿Qué es LLamaSharp?

Biblioteca de C#/.NET para ejecutar localmente modelos de la familia LLaMA y otros modelos de lenguaje GGUF en CPU o GPU, basada en llama.cpp. LLamaSharp es una biblioteca multiplataforma de .NET para ejecutar modelos LLaMA y otros modelos de forma local. Envuelve los backends nativos de llama.cpp para que las aplicaciones de C# y .NET puedan cargar archivos de modelos GGUF y ejecutar inferencias sin un servidor aparte, con compatibilidad tanto para CPU como para GPU.

¿LLamaSharp es gratuito? ¿Qué licencia tiene?

LLamaSharp es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿LLamaSharp sigue mantenido?

Mantenimiento activo. El último commit de LLamaSharp fue el 17 oct 2026.

¿Para qué puedo usar LLamaSharp?

Añadir un chatbot sin conexión a una aplicación de escritorio o web de .NET. Ejecutar un LLM privado en una GPU local sin enviar datos a una API en la nube. Crear funciones de RAG en una base de código de C# con un modelo local. Probar modelos GGUF de Hugging Face dentro de .NET.

¿Cómo se instala LLamaSharp?

Instala el paquete LLamaSharp desde NuGet: PM> Install-Package LLamaSharp Instala uno o varios paquetes de backend (CPU, CUDA, Vulkan) compatibles con tu dispositivo Descarga un archivo de modelo GGUF, por ejemplo, de Hugging Face Añade a tu proyecto el código de ejemplo de chat del README y configura la ruta del modelo

¿Dónde consigo LLamaSharp?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/SciSharp/LLamaSharp