Repolode
投稿する
hiyouga

hiyouga/LlamaFactory

ゼロコードのCLIとWeb UIで、100種類以上のLLMやVLMを効率よくファインチューニングできる統合フレームワーク。

GitHub で見る公式サイト
スター
75,601
フォーク
9,275
未解決の Issue
1,197
最終コミット
21 時間前

これは何？

LlamaFactoryは、大規模言語モデルや視覚言語モデルをファインチューニングするためのフレームワークです。LLaMA、Qwen、Gemma、DeepSeek、GLM、Mistralをはじめ、さまざまなマルチモーダルモデルに対応しています。コマンドラインインターフェース、またはブラウザで使える「LLaMA Board」から、コードを書かずに学習を実行できます。

全パラメータのチューニング、Freeze-Tuning、LoRA、量子化したQLoRAによる学習に対応し、事前学習、教師ありファインチューニング、報酬モデリング、PPO、DPO、KTO、ORPO、SimPOも利用できます。また、FlashAttention-2、Unsloth、Liger Kernelなどのメモリ効率化・高速化手法を統合し、GaLore、BAdam、APOLLOなどのオプティマイザーも備えています。

学習後のモデルはOpenAI互換APIで提供でき、推論バックエンドとしてvLLMやSGLangを選択できます。実験のトラッキングにはTensorBoard、Wandb、MLflow、SwanLabを利用できます。

主な機能

  • 01CLIまたはLLaMA BoardのWeb UIから、コードを書かずにファインチューニングできます。
  • 02100種類以上のモデルファミリーにわたり、LoRA、QLoRA、全パラメータ学習に対応しています。
  • 03SFT、報酬モデリング、PPO、DPO、KTO、ORPO、SimPOを利用できます。
  • 04画像、動画、音声の理解に対応したマルチモーダルモデルをサポートしています。
  • 05vLLMまたはSGLangをバックエンドとして、学習済みモデルをOpenAI互換APIで提供できます。

ユースケース

  • 学習コードを書かずに、QwenやLlamaなどのオープンウェイトモデルをドメイン特化データセットに適応させる。
  • GPUメモリが限られた環境で、LoRAとQLoRAの学習結果を比較する。
  • DPOやORPOで選好アライメントモデルを学習する。
  • 独自の画像・テキストデータを使って視覚言語モデルをファインチューニングする。

トピック

#fine-tuning#llm#lora#qlora#peft#rlhf#multimodal#transformers#agent#ai

よくある質問

LlamaFactory とは？
ゼロコードのCLIとWeb UIで、100種類以上のLLMやVLMを効率よくファインチューニングできる統合フレームワーク。 LlamaFactoryは、大規模言語モデルや視覚言語モデルをファインチューニングするためのフレームワークです。LLaMA、Qwen、Gemma、DeepSeek、GLM、Mistralをはじめ、さまざまなマルチモーダルモデルに対応しています。コマンドラインインターフェース、またはブラウザで使える「LLaMA Board」から、コードを書かずに学習を実行できます。
LlamaFactory は無料で使えますか？ライセンスは？
LlamaFactory は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
LlamaFactory は今もメンテナンスされていますか？
活発にメンテナンス中。LlamaFactory の最終コミットは 2026年10月19日 です。
LlamaFactory は何に使えますか？
学習コードを書かずに、QwenやLlamaなどのオープンウェイトモデルをドメイン特化データセットに適応させる。 GPUメモリが限られた環境で、LoRAとQLoRAの学習結果を比較する。 DPOやORPOで選好アライメントモデルを学習する。 独自の画像・テキストデータを使って視覚言語モデルをファインチューニングする。
LlamaFactory はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/hiyouga/LlamaFactory

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト