jasonacox/TinyLLM

Что это?

Ключевые возможности

• 01Запускает локальные LLM через Ollama, vLLM или llama-cpp-python с API, совместимым с OpenAI.
• 02Предоставляет веб-чатбот в стиле ChatGPT с поддержкой нескольких сессий и историей переписки.
• 03Кратко пересказывает веб-страницы и PDF, вставленные в чат.
• 04Получает заголовки новостей, цены акций и прогноз погоды по командам в чате.
• 05Поддерживает запросы с дополнением контекста по данным из векторной базы.
• 06Содержит настройки Ollama, позволяющие оставлять модели загруженными в память.

Сценарии использования

• Запустить приватный чатбот на домашнем GPU или Mac с Apple Silicon, не отправляя данные в облачный API.
• Экспериментировать с квантованными open-source моделями на оборудовании с ограниченным объёмом VRAM.
• Предоставить локальному чату доступ к собственным документам через векторную базу.

Быстрый старт

1. 1

   Клонируйте репозиторий проекта

   git clone https://github.com/jasonacox/TinyLLM.git
2. 2

   Запустите контейнер сервера Ollama с помощью команды docker run из README

3. 3

   Скачайте модель llama3 и выполните её тестовый запуск внутри контейнера

   docker exec -it ollama ollama run llama3

Что важно знать

• !С точки зрения аппаратных требований поддерживаются только Ubuntu Linux и macOS.
• !Сервер Ollama обрабатывает только одну сессию или один промпт за раз.
• !Для быстрой настройки Ollama предполагаются Docker и GPU NVIDIA, а vLLM нужны GPU с большим объёмом VRAM.

В подборках

Темы

Частые вопросы

Что такое TinyLLM?

Руководство и веб-чатбот для запуска небольшой локальной LLM на обычном оборудовании через Ollama, vLLM или llama-cpp-python с API, совместимым с OpenAI. TinyLLM — это руководство по настройке и веб-чатбот для запуска большой языковой модели на небольшом локальном компьютере. В нём показано, как запустить сервер инференса с Ollama, vLLM или llama-cpp-python — каждый из них предоставляет API, совместимый с OpenAI, — а затем подключить к нему чатбот в стиле ChatGPT.

TinyLLM можно использовать бесплатно? Какая у него лицензия?

TinyLLM распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

TinyLLM всё ещё поддерживается?

Активно поддерживается. Последний коммит в TinyLLM — 25 окт. 2026 г..

Для чего можно использовать TinyLLM?

Запустить приватный чатбот на домашнем GPU или Mac с Apple Silicon, не отправляя данные в облачный API. Экспериментировать с квантованными open-source моделями на оборудовании с ограниченным объёмом VRAM. Предоставить локальному чату доступ к собственным документам через векторную базу.

Как установить TinyLLM?

Клонируйте репозиторий проекта: git clone https://github.com/jasonacox/TinyLLM.git Запустите контейнер сервера Ollama с помощью команды docker run из README Скачайте модель llama3 и выполните её тестовый запуск внутри контейнера: docker exec -it ollama ollama run llama3

Где скачать TinyLLM?

Исходный код и инструкции по установке — на GitHub: https://github.com/jasonacox/TinyLLM