SciSharp/LLamaSharp

어떤 프로젝트인가요?

핵심 기능

• 01GGUF 모델 파일을 불러와 LLaMA 계열 모델을 로컬에서 실행합니다.
• 02NuGet으로 설치할 수 있는 CPU, CUDA, Metal, Vulkan 백엔드를 제공합니다.
• 03C# 애플리케이션에서 사용할 채팅 세션, executor, 샘플링 API를 제공합니다.
• 04RAG 및 멀티모달 LLaVA 모델을 지원합니다.
• 05Semantic Kernel 및 기타 .NET AI 프레임워크와 연동됩니다.

활용 사례

• .NET 데스크톱 또는 웹 애플리케이션에 오프라인 챗봇을 추가합니다.
• 클라우드 API로 데이터를 보내지 않고 로컬 GPU에서 비공개 LLM을 실행합니다.
• 로컬 모델을 사용해 C# 코드베이스에 RAG 기능을 구축합니다.
• .NET에서 Hugging Face의 GGUF 모델을 실험합니다.

빠른 시작

1. 1

   NuGet에서 LLamaSharp 패키지를 설치합니다

   PM> Install-Package LLamaSharp
2. 2

   기기에 맞는 백엔드 패키지(CPU, CUDA, Vulkan)를 하나 이상 설치합니다

3. 3

   Hugging Face 등에서 GGUF 모델 파일을 다운로드합니다

4. 4

   README의 채팅 예제 코드를 프로젝트에 추가하고 모델 경로를 설정합니다

사용 전 알아둘 점

• !모델은 GGUF 형식이어야 하며, 오래된 GGUF 파일은 최신 버전에서 작동하지 않을 수 있습니다.
• !GPU 가속을 사용하려면 CUDA 또는 Vulkan 환경에 맞는 백엔드 패키지가 필요합니다. 지원되지 않는 기기에서는 백엔드를 직접 컴파일해야 할 수 있습니다.

토픽

자주 묻는 질문

LLamaSharp은(는) 무엇인가요?

llama.cpp 기반으로 LLaMA 계열 및 기타 GGUF 언어 모델을 CPU나 GPU에서 로컬로 실행하는 C#/.NET 라이브러리입니다. LLamaSharp는 LLaMA 모델과 그 밖의 모델을 로컬에서 실행하는 크로스 플랫폼 .NET 라이브러리입니다. llama.cpp 네이티브 백엔드를 래핑해 C# 및 .NET 애플리케이션에서 별도의 서버 없이 GGUF 모델 파일을 불러와 추론을 실행할 수 있으며, CPU와 GPU 실행을 모두 지원합니다.

LLamaSharp은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

LLamaSharp은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

LLamaSharp은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. LLamaSharp의 마지막 커밋은 2026년 10월 17일입니다.

LLamaSharp은(는) 어디에 사용할 수 있나요?

.NET 데스크톱 또는 웹 애플리케이션에 오프라인 챗봇을 추가합니다. 클라우드 API로 데이터를 보내지 않고 로컬 GPU에서 비공개 LLM을 실행합니다. 로컬 모델을 사용해 C# 코드베이스에 RAG 기능을 구축합니다. .NET에서 Hugging Face의 GGUF 모델을 실험합니다.

LLamaSharp는 어떻게 설치하나요?

NuGet에서 LLamaSharp 패키지를 설치합니다: PM> Install-Package LLamaSharp 기기에 맞는 백엔드 패키지(CPU, CUDA, Vulkan)를 하나 이상 설치합니다 Hugging Face 등에서 GGUF 모델 파일을 다운로드합니다 README의 채팅 예제 코드를 프로젝트에 추가하고 모델 경로를 설정합니다

LLamaSharp은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/SciSharp/LLamaSharp