Repolode
stochasticai

stochasticai/xTuring

Библиотека Python для дообучения, оценки и запуска открытых LLM, таких как LLaMA, GPT-J и GPT-OSS, на собственных данных — локально или в частном облаке.

Звёзды
2,679
Форки
209
Открытые issues
10
Последний коммит
3 дня назад

Что это?

xTuring — библиотека Python для дообучения открытых больших языковых моделей на собственных данных. Она объединяет подготовку данных, обучение и инференс в одном высокоуровневом API, поэтому разработчики могут адаптировать модели, не создавая собственные циклы обучения.

Библиотека поддерживает различные семейства моделей, включая GPT-OSS, LLaMA и LLaMA 2, Qwen3, Mistral, MiniMax M2, GPT-J, GPT-2, DistilGPT-2 и Mamba. Для дообучения можно использовать LoRA или загрузку в низкой точности INT8 и INT4, чтобы сократить потребление памяти и вычислительных ресурсов. Оценивать модели можно по перплексии; для общения с дообученными моделями доступны UI на базе Gradio и CLI.

Библиотека рассчитана на работу локально или в частном VPC, поэтому обучающие данные не обязательно покидать инфраструктуру пользователя.

Ключевые возможности

  • 01Единый API для подготовки данных, дообучения и генерации
  • 02Варианты LoRA, INT8 и INT4 для снижения затрат памяти и вычислительных ресурсов
  • 03Оценка причинно-следственных языковых моделей на основе перплексии
  • 04Генерация датасетов с помощью self-instruct и API коммерческих моделей
  • 05Команда чата в CLI и интерфейс-песочница на базе Gradio для дообученных моделей

Сценарии использования

  • Адаптация открытой LLM к внутренним документам компании без передачи данных третьим сторонам
  • Дообучение небольшой модели, например Qwen3 0.6B, на ноутбуке для быстрых экспериментов
  • Сравнение подходов к дообучению, например LoRA и INT8, на одном датасете
  • Создание датасетов инструкций с помощью локальной модели для дальнейшего обучения

Быстрый старт

  1. 1

    Установите xTuring из PyPI

    pip install xturing
  2. 2

    Запустите небольшой пример файн-тюнинга, подходящий для CPU, с моделью LoRA Qwen3 0.6B

Что важно знать

  • Для файн-тюнинга более крупных моделей, таких как GPT-OSS, требуются значительные ресурсы GPU.
  • Для xTuring требуется transformers>=4.36.0; пока не следует обновлять transformers до версии 5.x.

Темы

Частые вопросы

Что такое xTuring?
Библиотека Python для дообучения, оценки и запуска открытых LLM, таких как LLaMA, GPT-J и GPT-OSS, на собственных данных — локально или в частном облаке. xTuring — библиотека Python для дообучения открытых больших языковых моделей на собственных данных. Она объединяет подготовку данных, обучение и инференс в одном высокоуровневом API, поэтому разработчики могут адаптировать модели, не создавая собственные циклы обучения.
xTuring можно использовать бесплатно? Какая у него лицензия?
xTuring распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
xTuring всё ещё поддерживается?
Активно поддерживается. Последний коммит в xTuring — 5 нояб. 2026 г..
Для чего можно использовать xTuring?
Адаптация открытой LLM к внутренним документам компании без передачи данных третьим сторонам Дообучение небольшой модели, например Qwen3 0.6B, на ноутбуке для быстрых экспериментов Сравнение подходов к дообучению, например LoRA и INT8, на одном датасете Создание датасетов инструкций с помощью локальной модели для дальнейшего обучения
Как установить xTuring?
Установите xTuring из PyPI: pip install xturing Запустите небольшой пример файн-тюнинга, подходящий для CPU, с моделью LoRA Qwen3 0.6B
Где скачать xTuring?
Исходный код и инструкции по установке — на GitHub: https://github.com/stochasticai/xTuring

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Библиотека Hugging Face для Parameter-Efficient Fine-Tuning (PEFT): адаптация крупных предварительно обученных моделей с помощью обучения небольшого набора дополнительных параметров.

21,9 тыс.+11 за неделю2,7 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 3 дня назад

Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.

41,9 тыс.+502 за неделю4,3 тыс.Jupyter NotebookApache-2.0Активно поддерживаетсяОбновлён 15 часов назад