georgian-io/LLM-Finetuning-Toolkit

Что это?

Ключевые возможности

• 01Позволяет задать промпты, модели, настройки LoRA и QA-тесты в одном YAML-файле.
• 02Проводит абляционные исследования по спискам шаблонов промптов, чекпойнтов моделей и параметров LoRA.
• 03Загружает датасеты с Hugging Face или из файлов JSON и CSV.
• 04Поддерживает 4-битное квантование и Flash Attention 2 для совместимых моделей.
• 05Кэширует результаты по хешу конфигурации, чтобы продолжать прерванные запуски.
• 06Включает встроенные QA-тесты, например проверки длины и пересечения слов.

Сценарии использования

• Сравнение нескольких базовых моделей с открытым исходным кодом на одном датасете для дообучения.
• Подбор шаблона промпта или конфигурации LoRA, которые лучше всего подходят для задачи.
• Проверка того, что результаты модели для суммаризации короче исходных текстов.
• Запуск воспроизводимых экспериментов по дообучению на основе версионируемого файла конфигурации.

Быстрый старт

1. 1

   Установите toolkit с помощью pipx (рекомендуется)

   pipx install llm-toolkit
2. 2

   Создайте начальный файл конфигурации

   llmtune generate config
3. 3

   Запустите эксперимент по тонкой настройке с этой конфигурацией

   llmtune run ./config.yml

Что важно знать

• !Для Flash Attention 2 требуется отдельная ручная установка и совместимый GPU.
• !Тонкая настройка таких моделей, как Llama-2 7B, требует значительных ресурсов и зависит от наличия доступа к модели на Hugging Face.

В подборках

Темы

Частые вопросы

Что такое LLM-Finetuning-Toolkit?

CLI на основе конфигурации для запуска и сравнения экспериментов по дообучению LLM: настройке промптов, моделей с открытым исходным кодом и LoRA, с тестами результатов. LLM Finetuning Toolkit — CLI-инструмент, который запускает серию экспериментов по дообучению LLM на основе одного YAML-файла. В конфигурации задаются шаблон промпта, базовая модель, параметры оптимизации (например, ранг LoRA, dropout и 4-битное квантование через bitsandbytes), а также проверки качества после обучения. Можно указать любую модель с открытым исходным кодом, доступную на Hugging Face, а датасеты загружать с Hugging Face или из локальных файлов JSON и CSV.

LLM-Finetuning-Toolkit можно использовать бесплатно? Какая у него лицензия?

LLM-Finetuning-Toolkit распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

LLM-Finetuning-Toolkit всё ещё поддерживается?

Активно поддерживается. Последний коммит в LLM-Finetuning-Toolkit — 22 окт. 2026 г..

Для чего можно использовать LLM-Finetuning-Toolkit?

Сравнение нескольких базовых моделей с открытым исходным кодом на одном датасете для дообучения. Подбор шаблона промпта или конфигурации LoRA, которые лучше всего подходят для задачи. Проверка того, что результаты модели для суммаризации короче исходных текстов. Запуск воспроизводимых экспериментов по дообучению на основе версионируемого файла конфигурации.

Как установить LLM-Finetuning-Toolkit?

Установите toolkit с помощью pipx (рекомендуется): pipx install llm-toolkit Создайте начальный файл конфигурации: llmtune generate config Запустите эксперимент по тонкой настройке с этой конфигурацией: llmtune run ./config.yml

Где скачать LLM-Finetuning-Toolkit?

Исходный код и инструкции по установке — на GitHub: https://github.com/georgian-io/LLM-Finetuning-Toolkit