SciSharp/LLamaSharp

Что это?

Ключевые возможности

• 01Загружает файлы моделей GGUF и локально запускает модели семейства LLaMA.
• 02Поддерживает бэкенды CPU, CUDA, Metal и Vulkan, устанавливаемые через NuGet.
• 03Предоставляет API для чат-сессий, исполнителей и сэмплирования в приложениях на C#.
• 04Поддерживает RAG и мультимодальные модели LLaVA.
• 05Интегрируется с Semantic Kernel и другими AI-фреймворками .NET.

Сценарии использования

• Добавление офлайн-чат-бота в настольное или веб-приложение на .NET.
• Локальный запуск приватной LLM на GPU без отправки данных в облачный API.
• Реализация функций RAG в кодовой базе на C# с локальной моделью.
• Эксперименты с моделями GGUF с Hugging Face в среде .NET.

Быстрый старт

1. 1

   Установите пакет LLamaSharp из NuGet

   PM> Install-Package LLamaSharp
2. 2

   Установите один или несколько пакетов backend (CPU, CUDA, Vulkan), совместимых с вашим устройством

3. 3

   Скачайте файл модели в формате GGUF, например с Hugging Face

4. 4

   Добавьте в проект код примера чата из README и укажите путь к модели

Что важно знать

• !Модели должны быть в формате GGUF; старые файлы GGUF могут не работать с новыми версиями.
• !Для ускорения на GPU требуется пакет backend, совместимый с вашей конфигурацией CUDA или Vulkan. Для неподдерживаемых устройств может потребоваться самостоятельно скомпилировать backend.

Темы

Частые вопросы

Что такое LLamaSharp?

Библиотека C#/.NET для локального запуска моделей семейства LLaMA и других языковых моделей GGUF на CPU или GPU на базе llama.cpp. LLamaSharp — кроссплатформенная библиотека .NET для локального запуска моделей LLaMA и других моделей. Она оборачивает нативные бэкенды llama.cpp, позволяя приложениям на C# и .NET загружать файлы моделей GGUF и выполнять инференс без отдельного сервера, на CPU или GPU.

LLamaSharp можно использовать бесплатно? Какая у него лицензия?

LLamaSharp распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

LLamaSharp всё ещё поддерживается?

Активно поддерживается. Последний коммит в LLamaSharp — 17 окт. 2026 г..

Для чего можно использовать LLamaSharp?

Добавление офлайн-чат-бота в настольное или веб-приложение на .NET. Локальный запуск приватной LLM на GPU без отправки данных в облачный API. Реализация функций RAG в кодовой базе на C# с локальной моделью. Эксперименты с моделями GGUF с Hugging Face в среде .NET.

Как установить LLamaSharp?

Установите пакет LLamaSharp из NuGet: PM> Install-Package LLamaSharp Установите один или несколько пакетов backend (CPU, CUDA, Vulkan), совместимых с вашим устройством Скачайте файл модели в формате GGUF, например с Hugging Face Добавьте в проект код примера чата из README и укажите путь к модели

Где скачать LLamaSharp?

Исходный код и инструкции по установке — на GitHub: https://github.com/SciSharp/LLamaSharp