“local-llm” 관련 오픈소스 프로젝트

로컬 또는 클라우드 LLM으로 웹, 학술 데이터베이스, 개인 문서를 조사하는 셀프 호스팅 AI 리서치 도구

자체 하드웨어에서 LLM을 실행하기 위한 플랫폼, 추론 엔진, UI, 모델, 도구와 튜토리얼을 엄선한 목록입니다.

GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진

Ollama로 로컬에서 실행하며 소형 모델의 단계별 답변을 지식 그래프로 저장하는 추론 도구입니다.

로컬에서 LLM을 실행하기 위한 플랫폼, 도구, 모델, 튜토리얼을 엄선해 모은 Awesome 스타일 목록입니다.

MLX 기반 Anthropic API 서버로 Apple Silicon Mac에서 클라우드 모델이나 API 키 없이 오픈 모델을 실행합니다.

node-llama-cpp로 로컬 LLM을 활용해 프레임워크 없이 AI 에이전트를 처음부터 만드는 실습형 튜토리얼 시리즈입니다.

로컬 LLM과 클라우드 API 없이 RAG를 단계별로 구현하는 JavaScript 학습용 튜토리얼입니다.

디스크에서 라우팅된 전문가를 스트리밍해 일반 하드웨어에서도 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.

단일 YAML 설정으로 LLM을 파인튜닝·후속 학습하고, 레이어 스트리밍으로 4GB GPU에서 8B 모델을 학습하는 CLI 도구

Qwen3.5 모델을 기기에서 실행해 보이는 페이지 요소를 바탕으로 브라우저 동작을 선택하는 로컬 우선 자동화 엔진이자 Agent Skill입니다.

USB-C로 연결한 iPhone을 활용해 Mac에서 로컬 실행하는 27B Qwen 모델의 프리필 속도와 컨텍스트 길이를 늘립니다.

Spark-X2.5는 로컬 및 온디바이스 환경에서 에이전트형 코딩과 도구 사용을 지원하는 오픈 웨이트 언어 모델 시리즈(4B, 1.7B)입니다.

하드웨어에 맞게 커널을 튜닝해 오픈 모델을 최대한 빠르게 실행하는 오픈소스 추론 엔진입니다.

로컬 또는 원격 LLM으로 파일을 분류하고, 변경 전에 검토할 수 있는 크로스 플랫폼 데스크톱 앱

클릭 가능한 인용과 선택형 완전 로컬 모델을 지원하는 Zotero용 채팅 플러그인

Ollama를 사용해 YouTube 라이브 방송에 실시간 영어·중국어 번역 자막을 제공하는 Chrome 확장 프로그램과 로컬 Python 서비스입니다.