oobabooga/textgen

Что это?

Ключевые возможности

• 01Режимы чата, instruct и общения с персонажами, а также шаблоны промптов Jinja2
• 02Ввод изображений, а также вложения в форматах PDF, .docx и обычного текста
• 03Несколько бэкендов, включая llama.cpp, Transformers и ExLlamaV3
• 04API, совместимый с OpenAI и Anthropic, с поддержкой вызова инструментов
• 05Вызов инструментов с пользовательскими функциями Python и MCP-серверами
• 06Дообучение LoRA и вкладка генерации изображений на базе diffusers

Сценарии использования

• Приватный запуск чат-модели GGUF на личном компьютере без отправки данных в облачный сервис
• Подключение существующего клиентского кода OpenAI или Anthropic к локальной модели во время разработки
• Общение с документами или изображениями с помощью локальной модели с поддержкой vision
• Дообучение адаптера LoRA на собственном наборе данных для чата или текста

Быстрый старт

1. 1

   Скачайте портативную сборку для вашей ОС со страницы релизов

2. 2

   Распакуйте скачанный архив и дважды щёлкните textgen, чтобы открыть окно приложения

3. 3

   Поместите файл модели GGUF в папку user_data/models — интерфейс обнаружит его

Что важно знать

• !Лицензия AGPL-3.0 — это лицензия с авторским левом, требующая от производных сетевых сервисов предоставлять исходный код.
• !Для использования дополнительных бэкендов, таких как ExLlamaV3 и Transformers, а также обучения и генерации изображений требуется полная установка. Она занимает около 10 ГБ на диске и скачивает PyTorch.
• !Портативная сборка поддерживает только модели GGUF (llama.cpp).

Темы

Частые вопросы

Что такое textgen?

Бесплатное приложение с открытым исходным кодом для запуска больших языковых моделей локально: чат-интерфейс и API, совместимый с OpenAI и Anthropic. TextGen — настольное приложение для запуска больших языковых моделей на собственном компьютере. В нём есть интерфейс для чата и API, поэтому одну и ту же локальную модель можно использовать как через браузерный интерфейс, так и из кода. Доступны портативные сборки для Linux, Windows и macOS с поддержкой CUDA, Vulkan, ROCm или только CPU; GGUF-модели запускаются через llama.cpp. Дополнительные бэкенды, например ExLlamaV3, Transformers и TensorRT-LLM, доступны при полной установке.

textgen можно использовать бесплатно? Какая у него лицензия?

textgen распространяется с открытым исходным кодом под лицензией AGPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

textgen всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в textgen — 17 авг. 2026 г..

Для чего можно использовать textgen?

Приватный запуск чат-модели GGUF на личном компьютере без отправки данных в облачный сервис Подключение существующего клиентского кода OpenAI или Anthropic к локальной модели во время разработки Общение с документами или изображениями с помощью локальной модели с поддержкой vision Дообучение адаптера LoRA на собственном наборе данных для чата или текста

Как установить textgen?

Скачайте портативную сборку для вашей ОС со страницы релизов Распакуйте скачанный архив и дважды щёлкните textgen, чтобы открыть окно приложения Поместите файл модели GGUF в папку user_data/models — интерфейс обнаружит его

Где скачать textgen?

Исходный код и инструкции по установке — на GitHub: https://github.com/oobabooga/textgen