Repolode
Предложить
0xSojalSec

0xSojalSec/LLMs-local

Подборка платформ, движков, интерфейсов, моделей, инструментов и руководств для запуска LLM локально на своём оборудовании.

Открыть на GitHub
Звёзды
1,198
Форки
138
Открытые issues
12
Последний коммит
4 месяца назад

Что это?

LLMs-local — это подборка ресурсов для запуска больших языковых моделей на собственном компьютере, а не через размещённый API. Материалы распределены по разделам: платформы и движки для инференса, пользовательские интерфейсы, конкретные модели с открытыми весами, агентные фреймворки, серверы Model Context Protocol, генерация с дополнением извлечёнными данными, агенты для программирования, слои памяти, инструменты оценки, оборудование и руководства.

В подборке есть ссылки на такие проекты, как Ollama, llama.cpp, vLLM, LM Studio и Open WebUI, с кратким описанием каждого в одну строку. Также в ней представлены поставщики моделей и рейтинги бенчмарков — они помогут сравнить варианты перед выбором стека.

Репозиторий представляет собой подборку ссылок, а не программный пакет, поэтому в нём нет собственного кода для установки или запуска.

Ключевые возможности

  • 01Собраны движки для локального инференса, например llama.cpp, Ollama, vLLM и MLX-LM, с краткими описаниями в одну строку.
  • 02Интерфейсы для общения с моделями, включая Open WebUI, клиенты в стиле LM Studio и SillyTavern, сгруппированы по разделам.
  • 03Представлены агентные фреймворки, серверы MCP и инструменты RAG, работающие с локальными моделями.
  • 04Включены заметки об оборудовании и руководства по промптам, контексту и инференсу.

Сценарии использования

  • Выбрать движок для инференса или настольное приложение для запуска моделей на личном компьютере.
  • Найти локальный интерфейс для общения с моделями или помощника для программирования, совместимого с моделями с открытыми весами.
  • Изучить доступные открытые модели и бенчмарки перед настройкой локального стека.

Что важно знать

  • Лицензия не указана, поэтому условия повторного использования неясны.

Темы

#llm#local-llm#inference#awesome-list#ai-tools#open-source-models

Частые вопросы

Что такое LLMs-local?
Подборка платформ, движков, интерфейсов, моделей, инструментов и руководств для запуска LLM локально на своём оборудовании. LLMs-local — это подборка ресурсов для запуска больших языковых моделей на собственном компьютере, а не через размещённый API. Материалы распределены по разделам: платформы и движки для инференса, пользовательские интерфейсы, конкретные модели с открытыми весами, агентные фреймворки, серверы Model Context Protocol, генерация с дополнением извлечёнными данными, агенты для программирования, слои памяти, инструменты оценки, оборудование и руководства.
LLMs-local можно использовать бесплатно? Какая у него лицензия?
У LLMs-local не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.
LLMs-local всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в LLMs-local — 10 июн. 2026 г..
Для чего можно использовать LLMs-local?
Выбрать движок для инференса или настольное приложение для запуска моделей на личном компьютере. Найти локальный интерфейс для общения с моделями или помощника для программирования, совместимого с моделями с открытыми весами. Изучить доступные открытые модели и бенчмарки перед настройкой локального стека.
Где скачать LLMs-local?
Исходный код и инструкции по установке — на GitHub: https://github.com/0xSojalSec/LLMs-local

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты