로컬에서 LLM 실행하기: 2026년 추천

문서와 대화하고 AI 에이전트를 실행하는 올인원 AI 앱으로, 로컬 우선 LLM과 멀티유저 기능, 노코드 에이전트 빌더를 지원합니다.

디스크에서 라우팅된 전문가를 스트리밍해 일반 하드웨어에서도 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.

Linux 서버, 웹사이트, Docker 컨테이너, 데이터베이스와 AI 에이전트를 관리하는 오픈소스 웹 기반 제어판

LLM과 그래프 기반 파이프라인으로 자연어 프롬프트에 따라 웹사이트와 로컬 문서에서 구조화된 데이터를 추출하는 Python 라이브러리입니다.

macOS와 Windows에서 회의를 녹음하고 실시간으로 받아쓰며 요약을 생성하는 오픈소스 로컬 우선 AI 회의 비서입니다.

OpenAI Codex와 Claude Code를 Claude, Gemini, Grok, DeepSeek, Ollama 등 어떤 LLM 제공자로든 실행할 수 있는 로컬 프록시입니다.

GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진

텍스트로 완곡을 생성하고 커버, 리페인팅, 스템 분리 등의 편집 기능을 제공하는 오픈 소스 로컬 음악 생성 모델입니다.

단일 YAML 설정으로 LLM을 파인튜닝·후속 학습하고, 레이어 스트리밍으로 4GB GPU에서 8B 모델을 학습하는 CLI 도구

로컬 또는 클라우드 LLM으로 웹, 학술 데이터베이스, 개인 문서를 조사하는 셀프 호스팅 AI 리서치 도구

하드웨어에 맞게 커널을 튜닝해 오픈 모델을 최대한 빠르게 실행하는 오픈소스 추론 엔진입니다.

SSD에서 전문가 가중치를 스트리밍해 Apple Silicon Mac에서 약 2GB RAM으로 Gemma 4 26B-A4B를 구동하는 Swift 및 Metal 런타임입니다.

화면 영역, 이미지, PDF의 텍스트를 캡처해 클립보드나 편집기로 복사하는 온디바이스 Windows OCR 도구입니다.

node-llama-cpp로 로컬 LLM을 활용해 프레임워크 없이 AI 에이전트를 처음부터 만드는 실습형 튜토리얼 시리즈입니다.

EmbeddingGemma 2로 사진, PDF, 문서, 오디오, 동영상, 코드를 의미 기반으로 검색하는 로컬 데스크톱 앱

계층형 인덱싱, 대화 메모리, 질문 명확화 기능을 갖춘 LangGraph 기반의 모듈형 Agentic RAG 튜토리얼 및 프로젝트입니다.

MLX 기반 Anthropic API 서버로 Apple Silicon Mac에서 클라우드 모델이나 API 키 없이 오픈 모델을 실행합니다.

자연어로 설명한 페이지에서 구조화된 데이터를 추출하는 Streamlit 기반 웹 스크래퍼입니다.

OCR과 Ollama 호스팅 LLM을 사용해 PDF, 이미지, Office 문서를 Markdown이나 구조화된 JSON으로 변환하는 셀프 호스팅 API입니다.

자체 하드웨어에서 LLM을 실행하기 위한 플랫폼, 추론 엔진, UI, 모델, 도구와 튜토리얼을 엄선한 목록입니다.

클릭 가능한 인용과 선택형 완전 로컬 모델을 지원하는 Zotero용 채팅 플러그인

로컬 또는 원격 LLM으로 파일을 분류하고, 변경 전에 검토할 수 있는 크로스 플랫폼 데스크톱 앱

서버리스 AI 워크로드를 위한 오픈소스 Go/Python 런타임으로, GPU 추론 엔드포인트와 샌드박스, scale-to-zero 백그라운드 작업 큐를 제공합니다.

TTS, 음성 복제, AI 음악 생성을 완전히 오프라인으로 실행하는 macOS·Windows용 오픈소스 로컬 오디오·음악 스튜디오

로컬 LLM과 클라우드 API 없이 RAG를 단계별로 구현하는 JavaScript 학습용 튜토리얼입니다.

음성을 텍스트로 변환하고 앱별 문맥에 맞게 다듬는 macOS 및 Windows용 오픈소스 로컬 우선 AI 받아쓰기 앱.

AI 이력서 검토와 직무 매칭, 자동 채용 공고 검색, AI 에이전트용 MCP 서버를 제공하는 셀프 호스팅 구직 트래커입니다.

로컬에서 LLM을 실행하기 위한 플랫폼, 도구, 모델, 튜토리얼을 엄선해 모은 Awesome 스타일 목록입니다.

코딩 에디터에서 ChatGPT, Claude, Gemini, Perplexity 브라우저 세션이나 BYOK·로컬 모델 엔드포인트로 프롬프트를 전달하는 로컬 MCP 서버입니다.

USB-C로 연결한 iPhone을 활용해 Mac에서 로컬 실행하는 27B Qwen 모델의 프리필 속도와 컨텍스트 길이를 늘립니다.

오픈소스 YuE2 음악 모델로 보컬곡을 만드는 Windows 데스크톱 스튜디오로, 로컬 NVIDIA GPU에서 ABC 악보 편집과 커버, 정확한 재생을 지원합니다.

Spark-X2.5는 로컬 및 온디바이스 환경에서 에이전트형 코딩과 도구 사용을 지원하는 오픈 웨이트 언어 모델 시리즈(4B, 1.7B)입니다.

자체 OpenAI 호환 비전 모델로 페이지를 처리해 PDF, Office 파일, 스캔 문서, 스크린샷, 다이어그램을 Markdown으로 변환합니다.

로컬 또는 원격 모델로 LLM이 UI 작업을 계획하고 실행하는 Android·컴퓨터 자동화 프레임워크입니다.

선택한 텍스트 근처에 나타나 변환, 스크립트, 단축어, 수학 및 AI 작업을 제공하는 macOS 오픈소스 팝업입니다.

Ollama로 로컬에서 실행하며 소형 모델의 단계별 답변을 지식 그래프로 저장하는 추론 도구입니다.

온디바이스 AI 모델로 폴더 안의 사진과 동영상 장면을 일상적인 문장으로 검색하는 로컬 우선 macOS 앱입니다.

AI 코딩 에이전트가 다이어그램과 미리보기를 렌더링해 시각적으로 검토할 수 있는 Electron 기반 스크린샷·주석 앱

요청 하나로 편집 가능한 PPTX, DOCX, XLSX, HTML 파일을 만드는 로컬 우선 AI 오피스 도우미

Apple Silicon에서 MLX로 이미지 한 장에 대한 후보 답변을 채점하는 비전-언어 모델 추론 교육용 프로젝트입니다.

ClickHouse 기반의 Tauri 데스크톱 앱으로, SQL 데이터 탐색 및 조회와 선택적 LLM 연동, 웹 모드를 지원합니다.

Qwen3.5 모델을 기기에서 실행해 보이는 페이지 요소를 바탕으로 브라우저 동작을 선택하는 로컬 우선 자동화 엔진이자 Agent Skill입니다.

계정 없이 내 컴퓨터에서 초안을 교정하고, 다시 쓰고, 서식을 지정하는 로컬 우선 데스크톱 글쓰기 도우미입니다.

Ollama를 사용해 YouTube 라이브 방송에 실시간 영어·중국어 번역 자막을 제공하는 Chrome 확장 프로그램과 로컬 Python 서비스입니다.