Запуск LLM локально: лучшее в 2026

Универсальное AI-приложение для общения с документами и запуска AI-агентов: поддерживает локальные LLM, доступ для нескольких пользователей и создание агентов без кода.

Движок инференса на чистом C, который запускает очень большие MoE-модели на обычном оборудовании, подгружая выбранные эксперты с диска.

Веб-панель с открытым исходным кодом для управления Linux-серверами, сайтами, Docker-контейнерами, базами данных и AI-агентами.

Библиотека Python, которая использует LLM и графовые пайплайны для извлечения структурированных данных с сайтов и из локальных документов по запросу на естественном языке.

Локальный open-source AI-помощник для встреч: записывает и транскрибирует речь в реальном времени, а также создает краткие итоги на macOS и Windows.

Локальный прокси, позволяющий запускать OpenAI Codex и Claude Code с любым LLM-провайдером, включая Claude, Gemini, Grok, DeepSeek и Ollama.

Edge-native движок для MoE-моделей, который запускает большие модели с открытыми весами, такие как DeepSeek-V4 и Qwen3.6, на потребительских GPU, распределяя нагрузку между GPU и памятью CPU.

Локальная open-source модель для генерации музыки: создаёт целые песни по тексту и предлагает инструменты для редактирования — каверы, перерисовку фрагментов и разделение на дорожки.

CLI-инструмент для дообучения LLM по одному YAML-конфигу; потоковая загрузка слоёв позволяет обучать модели 8B на GPU с 4 ГБ памяти.

Самостоятельно размещаемый AI-ассистент для глубоких многоэтапных исследований с локальными или облачными LLM и поиском в интернете, научных базах и собственных документах.

Open source движок инференса, который подстраивает ядра под ваше оборудование, чтобы запускать каждую открытую модель как можно быстрее.

Среда выполнения на Swift и Metal для запуска Gemma 4 26B-A4B на Mac с Apple Silicon и примерно 2 ГБ памяти за счёт потоковой загрузки экспертов с SSD.

Windows-приложение для распознавания текста на экране, в изображениях и PDF с копированием результата в буфер обмена или редактор. Всё работает локально.

Практический цикл уроков по созданию AI-агентов с нуля на локальных LLM через node-llama-cpp, без фреймворков.

Настольное приложение для смыслового поиска по локальным файлам — фото, PDF, документам, аудио, видео и коду — прямо на устройстве с EmbeddingGemma 2.

Модульный учебный проект по Agentic RAG на LangGraph с иерархической индексацией, памятью диалога и уточнением запросов.

Запускает Claude Code с открытыми AI-моделями на Mac с Apple Silicon через Anthropic API-сервер на базе MLX — без облачных моделей и API-ключа.

Веб-скрейпер на Streamlit, который с помощью моделей OpenAI, Gemini, Ollama или LiteLLM извлекает структурированные данные со страниц по запросам на естественном языке.

API для самостоятельного развёртывания, который преобразует PDF, изображения и документы Office в Markdown или структурированный JSON с помощью OCR и LLM на базе Ollama; поддерживает удаление персональных данных.

Подборка платформ, движков инференса, интерфейсов, моделей, инструментов и руководств для запуска LLM на собственном оборудовании.

Плагин для Zotero, который позволяет общаться с одним или несколькими PDF-файлами либо со всей библиотекой, получать цитаты-ссылки и при желании использовать полностью локальные модели.

Кроссплатформенное десктопное приложение, которое сортирует файлы по категориям и предлагает более понятные имена с помощью локальных или удалённых LLM; перед изменениями их можно проверить.

Open-source runtime на Go/Python для serverless AI-нагрузок: GPU-инференс, изолированные песочницы и очереди фоновых задач с масштабированием до нуля.

Локальная студия для работы с аудио и музыкой на macOS и Windows: запуск TTS, клонирование голоса и генерация песен с ИИ полностью офлайн.

Обучающий проект на JavaScript, в котором пошагово разбирается создание RAG с локальными LLM и без облачных API.

Локально ориентированное open-source приложение для AI-диктовки: преобразует речь в текст на macOS и Windows и форматирует его с учётом активного приложения.

Самостоятельно размещаемый трекер поиска работы с проверкой резюме с помощью ИИ, подбором вакансий, автоматическим поиском и MCP-сервером для ИИ-агентов.

Подборка платформ, инструментов, моделей и руководств для локального запуска больших языковых моделей в стиле Awesome.

Локальный MCP-сервер для работы из редакторов кода: направляет запросы в браузерные сессии ChatGPT, Claude, Gemini и Perplexity, а также к моделям по BYOK или локальным эндпоинтам.

Ускоряет prefill и расширяет контекст локальной модели Qwen 27B на Mac с помощью подключённого по USB-C iPhone.

Настольная студия для Windows для открытой модели песен YuE2: создаёт песни с вокалом, редактируемой партитурой ABC, каверами и точным повторным рендерингом на локальном GPU NVIDIA.

Spark-X2.5 — серия языковых моделей с открытыми весами (4B и 1.7B) для агентного программирования и работы с инструментами на локальных устройствах.

Преобразует PDF, файлы Office, сканы, скриншоты и диаграммы в Markdown, отправляя страницы вашей модели зрения, совместимой с OpenAI.

Фреймворк для автономного управления Android-устройствами и компьютерами: LLM планирует и выполняет задачи в интерфейсе с помощью локальных или удалённых моделей.

OpenClip — всплывающее меню для macOS, которое появляется при выделении текста и предлагает преобразования, скрипты, сочетания клавиш, математические и AI-действия.

Локальный инструмент для рассуждений: он сохраняет пошаговые ответы небольшой модели в виде графа знаний и работает на вашей машине через Ollama.

Локальное macOS-приложение для поиска фотографий и кадров из видео в любой папке по описанию на обычном языке с помощью ИИ-моделей на устройстве.

Приложение для создания скриншотов и аннотирования на Electron: AI-агенты для программирования, например Claude Code, могут показывать диаграммы и превью для визуальной проверки.

Локальный ИИ-помощник для офисных задач: по одному запросу создает редактируемые файлы PPTX, DOCX, XLSX и HTML, используя ваши ключи моделей или локальные модели.

Небольшой учебный проект для запуска инференса vision-language-модели на Apple Silicon с помощью MLX и оценки вариантов ответа по одному изображению.

Десктопное приложение на Tauri для изучения данных и выполнения SQL-запросов на ClickHouse, с опциональной интеграцией LLM и веб-режимом.

Локальный движок автоматизации браузера и Agent Skill, который запускает модели Qwen3.5 на устройстве и выбирает действия по видимым элементам страницы.

Локальный десктопный помощник для письма: вычитывает, переписывает и форматирует черновики прямо на вашем компьютере, без регистрации.

Расширение Chrome и локальный сервис на Python, создающие субтитры с переводом с английского на китайский и обратно для трансляций YouTube в реальном времени с помощью Ollama.