Библиотека Hugging Face для Parameter-Efficient Fine-Tuning (PEFT): адаптация крупных предварительно обученных моделей с помощью обучения небольшого набора дополнительных параметров.
stochasticai/xTuring
Библиотека Python для дообучения, оценки и запуска открытых LLM, таких как LLaMA, GPT-J и GPT-OSS, на собственных данных — локально или в частном облаке.
- Звёзды
- 2,679
- Форки
- 209
- Открытые issues
- 10
- Последний коммит
- 3 дня назад
Что это?
xTuring — библиотека Python для дообучения открытых больших языковых моделей на собственных данных. Она объединяет подготовку данных, обучение и инференс в одном высокоуровневом API, поэтому разработчики могут адаптировать модели, не создавая собственные циклы обучения.
Библиотека поддерживает различные семейства моделей, включая GPT-OSS, LLaMA и LLaMA 2, Qwen3, Mistral, MiniMax M2, GPT-J, GPT-2, DistilGPT-2 и Mamba. Для дообучения можно использовать LoRA или загрузку в низкой точности INT8 и INT4, чтобы сократить потребление памяти и вычислительных ресурсов. Оценивать модели можно по перплексии; для общения с дообученными моделями доступны UI на базе Gradio и CLI.
Библиотека рассчитана на работу локально или в частном VPC, поэтому обучающие данные не обязательно покидать инфраструктуру пользователя.
Ключевые возможности
- 01Единый API для подготовки данных, дообучения и генерации
- 02Варианты LoRA, INT8 и INT4 для снижения затрат памяти и вычислительных ресурсов
- 03Оценка причинно-следственных языковых моделей на основе перплексии
- 04Генерация датасетов с помощью self-instruct и API коммерческих моделей
- 05Команда чата в CLI и интерфейс-песочница на базе Gradio для дообученных моделей
Сценарии использования
- Адаптация открытой LLM к внутренним документам компании без передачи данных третьим сторонам
- Дообучение небольшой модели, например Qwen3 0.6B, на ноутбуке для быстрых экспериментов
- Сравнение подходов к дообучению, например LoRA и INT8, на одном датасете
- Создание датасетов инструкций с помощью локальной модели для дальнейшего обучения
Быстрый старт
- 1
Установите xTuring из PyPI
pip install xturing - 2
Запустите небольшой пример файн-тюнинга, подходящий для CPU, с моделью LoRA Qwen3 0.6B
Что важно знать
- Для файн-тюнинга более крупных моделей, таких как GPT-OSS, требуются значительные ресурсы GPU.
- Для xTuring требуется transformers>=4.36.0; пока не следует обновлять transformers до версии 5.x.
Темы
Частые вопросы
- Что такое xTuring?
- Библиотека Python для дообучения, оценки и запуска открытых LLM, таких как LLaMA, GPT-J и GPT-OSS, на собственных данных — локально или в частном облаке. xTuring — библиотека Python для дообучения открытых больших языковых моделей на собственных данных. Она объединяет подготовку данных, обучение и инференс в одном высокоуровневом API, поэтому разработчики могут адаптировать модели, не создавая собственные циклы обучения.
- xTuring можно использовать бесплатно? Какая у него лицензия?
- xTuring распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- xTuring всё ещё поддерживается?
- Активно поддерживается. Последний коммит в xTuring — 5 нояб. 2026 г..
- Для чего можно использовать xTuring?
- Адаптация открытой LLM к внутренним документам компании без передачи данных третьим сторонам Дообучение небольшой модели, например Qwen3 0.6B, на ноутбуке для быстрых экспериментов Сравнение подходов к дообучению, например LoRA и INT8, на одном датасете Создание датасетов инструкций с помощью локальной модели для дальнейшего обучения
- Как установить xTuring?
- Установите xTuring из PyPI: pip install xturing Запустите небольшой пример файн-тюнинга, подходящий для CPU, с моделью LoRA Qwen3 0.6B
- Где скачать xTuring?
- Исходный код и инструкции по установке — на GitHub: https://github.com/stochasticai/xTuring
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Набор инструментов на базе PyTorch с реализациями 20+ open-weight моделей LLM с нуля для предварительного обучения, дообучения, оценки и запуска.
Единый фреймворк для эффективной тонкой настройки более 100 LLM и VLM через CLI и веб-интерфейс без написания кода.
Фреймворк для дообучения, обучения, инференса и деплоя более 600 больших языковых и 400 мультимодальных моделей, включая SFT, DPO и GRPO.
Библиотека Python с методами параметрически эффективного дообучения Stable Diffusion: LoRA, LoHa, LoKr, (IA)^3 и DyLoRA.
Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.