rafska/awesome-local-llm

Что это?

Ключевые возможности

• 01Включает движки для инференса, такие как Ollama, llama.cpp, vLLM и инструменты на базе MLX
• 02Собирает десктопные и веб-интерфейсы для общения с локальными моделями
• 03Группирует семейства моделей с открытыми весами по сценариям использования, например для программирования, работы с изображениями и речи
• 04Включает фреймворки для агентов, компоненты RAG и инструменты MCP для локальных конфигураций
• 05Содержит бенчмарки, рейтинги, рекомендации по оборудованию и обучающие материалы

Сценарии использования

• Выбрать движок для инференса или чат-интерфейс перед настройкой локальной LLM
• Найти модели с открытыми весами для программирования, работы с изображениями или речью
• Познакомиться с фреймворками для агентов и инструментами RAG, совместимыми с моделями на собственном сервере
• Изучить практики работы с локальными LLM по ссылкам на руководства

Темы

Частые вопросы

Что такое awesome-local-llm?

Подборка платформ, движков, интерфейсов, моделей, инструментов и руководств для локального запуска больших языковых моделей. awesome-local-llm — подборка материалов о запуске больших языковых моделей на собственном оборудовании, а не через hosted API. Ресурсы сгруппированы по категориям: платформы и движки для инференса, такие как Ollama, llama.cpp и vLLM, пользовательские интерфейсы вроде Open WebUI и SillyTavern, а также подборки моделей с открытыми весами от Qwen, Mistral, Gemma и NVIDIA.

awesome-local-llm можно использовать бесплатно? Какая у него лицензия?

awesome-local-llm распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

awesome-local-llm всё ещё поддерживается?

Активно поддерживается. Последний коммит в awesome-local-llm — 17 окт. 2026 г..

Для чего можно использовать awesome-local-llm?

Выбрать движок для инференса или чат-интерфейс перед настройкой локальной LLM Найти модели с открытыми весами для программирования, работы с изображениями или речью Познакомиться с фреймворками для агентов и инструментами RAG, совместимыми с моделями на собственном сервере Изучить практики работы с локальными LLM по ссылкам на руководства

Где скачать awesome-local-llm?

Исходный код и инструкции по установке — на GitHub: https://github.com/rafska/awesome-local-llm