georgian-io/LLM-Finetuning-Toolkit

これは何？

主な機能

• 01プロンプト、モデル、LoRA設定、QAテストを1つのYAMLファイルで定義できます。
• 02複数のプロンプトテンプレート、モデルのチェックポイント、LoRAパラメータを使ったアブレーションスタディを実行できます。
• 03Hugging Face、JSON、CSVファイルからデータセットを読み込めます。
• 04対応モデルでは4-bit量子化とFlash Attention 2を利用できます。
• 05設定ハッシュに基づいて結果をキャッシュするため、中断した実行を再開できます。
• 06長さや単語の重複率を確認するQAテストを内蔵しています。

ユースケース

• 同じファインチューニング用データセットで複数のオープンソースベースモデルを比較する。
• あるタスクでどのプロンプトテンプレートやLoRA設定が最良の結果を出すかを検証する。
• 要約モデルの出力が入力より短いことを確認する。
• バージョン管理された設定ファイルから、再現可能なファインチューニング実験を実行する。

クイックスタート

1. 1

   pipx でツールキットをインストールする（推奨）

   pipx install llm-toolkit
2. 2

   スターター設定ファイルを生成する

   llmtune generate config
3. 3

   設定ファイルを使ってファインチューニング実験を実行する

   llmtune run ./config.yml

使う前に知っておきたいこと

• !Flash Attention 2 は別途手動でインストールする必要があり、対応 GPU も必要です。
• !Llama-2 7B などのモデルのファインチューニングには多くのリソースが必要で、Hugging Face のモデルへのアクセス権も必要です。

収録されている特集

トピック

よくある質問

LLM-Finetuning-Toolkit とは？

プロンプト、オープンソースモデル、LoRA設定を組み合わせたLLMのファインチューニング実験を実行・比較できる、出力テスト内蔵の設定駆動型CLIです。 LLM Finetuning Toolkitは、単一のYAMLファイルから一連のLLMファインチューニング実験を実行するCLIツールです。設定ファイルでは、プロンプトテンプレート、ベースモデル、最適化設定（LoRAのrankやdropout、bitsandbytesによる4-bit量子化など）、学習後の品質チェックを指定できます。Hugging Faceで利用できるオープンソースモデルを指定でき、データセットはHugging FaceまたはローカルのJSON・CSVファイルから読み込めます。

LLM-Finetuning-Toolkit は無料で使えますか？ライセンスは？

LLM-Finetuning-Toolkit は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

LLM-Finetuning-Toolkit は今もメンテナンスされていますか？

活発にメンテナンス中。LLM-Finetuning-Toolkit の最終コミットは 2026年10月22日 です。

LLM-Finetuning-Toolkit は何に使えますか？

同じファインチューニング用データセットで複数のオープンソースベースモデルを比較する。 あるタスクでどのプロンプトテンプレートやLoRA設定が最良の結果を出すかを検証する。 要約モデルの出力が入力より短いことを確認する。 バージョン管理された設定ファイルから、再現可能なファインチューニング実験を実行する。

LLM-Finetuning-Toolkit のインストール方法は？

pipx でツールキットをインストールする（推奨）: pipx install llm-toolkit スターター設定ファイルを生成する: llmtune generate config 設定ファイルを使ってファインチューニング実験を実行する: llmtune run ./config.yml

LLM-Finetuning-Toolkit はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/georgian-io/LLM-Finetuning-Toolkit