rafska/awesome-local-llm

어떤 프로젝트인가요?

핵심 기능

• 01Ollama, llama.cpp, vLLM 및 MLX 기반 도구 등의 추론 엔진을 다룹니다
• 02로컬 모델과 대화할 수 있는 데스크톱 및 웹 사용자 인터페이스를 소개합니다
• 03코딩, 비전, 음성 등 용도별로 분류한 오픈 웨이트 모델 제품군을 모았습니다
• 04로컬 환경에서 사용할 수 있는 에이전트 프레임워크, RAG 구성 요소, MCP 도구를 포함합니다
• 05벤치마크, 리더보드, 하드웨어 안내 및 튜토리얼 자료를 제공합니다

활용 사례

• 로컬 LLM을 설정하기 전에 추론 엔진이나 채팅 인터페이스를 선택할 때
• 코딩, 비전, 음성 작업에 적합한 오픈 웨이트 모델을 찾을 때
• 자체 호스팅 모델과 함께 사용할 에이전트 프레임워크와 RAG 도구를 알아볼 때
• 링크된 튜토리얼을 통해 로컬 LLM 활용 방법을 배울 때

토픽

자주 묻는 질문

awesome-local-llm은(는) 무엇인가요?

로컬에서 LLM을 실행하기 위한 플랫폼, 엔진, UI, 모델, 도구와 튜토리얼을 엄선한 목록입니다. awesome-local-llm은 호스팅 API를 이용하는 대신 자체 하드웨어에서 대규모 언어 모델을 실행하는 데 필요한 자료를 엄선해 모은 목록입니다. Ollama, llama.cpp, vLLM 같은 추론 플랫폼과 엔진, Open WebUI와 SillyTavern 같은 사용자 인터페이스, Qwen, Mistral, Gemma, NVIDIA를 비롯한 제공업체의 오픈 웨이트 모델 모음 등 카테고리별로 정리되어 있습니다.

awesome-local-llm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

awesome-local-llm은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

awesome-local-llm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. awesome-local-llm의 마지막 커밋은 2026년 10월 17일입니다.

awesome-local-llm은(는) 어디에 사용할 수 있나요?

로컬 LLM을 설정하기 전에 추론 엔진이나 채팅 인터페이스를 선택할 때 코딩, 비전, 음성 작업에 적합한 오픈 웨이트 모델을 찾을 때 자체 호스팅 모델과 함께 사용할 에이전트 프레임워크와 RAG 도구를 알아볼 때 링크된 튜토리얼을 통해 로컬 LLM 활용 방법을 배울 때

awesome-local-llm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/rafska/awesome-local-llm