SciSharp/LLamaSharp

O que é?

Recursos principais

• 01Carrega arquivos de modelo GGUF e executa localmente modelos da família LLaMA.
• 02Oferece backends para CPU, CUDA, Metal e Vulkan, instaláveis via NuGet.
• 03Fornece APIs de sessão de chat, execução e amostragem para aplicações C#.
• 04Oferece suporte a RAG e modelos multimodais LLaVA.
• 05Integra-se ao Semantic Kernel e a outros frameworks de IA para .NET.

Casos de uso

• Adicionar um chatbot offline a uma aplicação .NET desktop ou web.
• Executar um LLM privado em uma GPU local sem enviar dados a uma API na nuvem.
• Criar recursos de RAG em uma base de código C# usando um modelo local.
• Experimentar modelos GGUF do Hugging Face dentro do .NET.

Início rápido

1. 1

   Instale o pacote LLamaSharp pelo NuGet

   PM> Install-Package LLamaSharp
2. 2

   Instale um ou mais pacotes de backend (CPU, CUDA, Vulkan) compatíveis com seu dispositivo

3. 3

   Baixe um arquivo de modelo GGUF, como um disponível no Hugging Face

4. 4

   Adicione ao seu projeto o código de exemplo de chat do README e configure o caminho do modelo

Antes de usar

• !Os modelos devem estar no formato GGUF, e arquivos GGUF antigos podem não funcionar com versões mais recentes.
• !A aceleração por GPU requer um pacote de backend compatível com sua configuração de CUDA ou Vulkan. Em dispositivos sem suporte, talvez seja necessário compilar o backend por conta própria.

Tópicos

Perguntas frequentes

O que é LLamaSharp?

Biblioteca C#/.NET para executar localmente modelos LLaMA e outros modelos de linguagem GGUF em CPU ou GPU, baseada em llama.cpp. LLamaSharp é uma biblioteca .NET multiplataforma para executar modelos LLaMA e outros modelos localmente. Ela encapsula os backends nativos do llama.cpp para que aplicações C# e .NET possam carregar arquivos de modelo GGUF e executar inferência sem um servidor separado, com suporte à execução em CPU e GPU.

LLamaSharp é gratuito? Qual é a licença?

LLamaSharp é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

LLamaSharp ainda é mantido?

Manutenção ativa. O último commit de LLamaSharp foi em 17 de out. de 2026.

Para que posso usar LLamaSharp?

Adicionar um chatbot offline a uma aplicação .NET desktop ou web. Executar um LLM privado em uma GPU local sem enviar dados a uma API na nuvem. Criar recursos de RAG em uma base de código C# usando um modelo local. Experimentar modelos GGUF do Hugging Face dentro do .NET.

Como instalar LLamaSharp?

Instale o pacote LLamaSharp pelo NuGet: PM> Install-Package LLamaSharp Instale um ou mais pacotes de backend (CPU, CUDA, Vulkan) compatíveis com seu dispositivo Baixe um arquivo de modelo GGUF, como um disponível no Hugging Face Adicione ao seu projeto o código de exemplo de chat do README e configure o caminho do modelo

Onde consigo LLamaSharp?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/SciSharp/LLamaSharp