Repolode
投稿する
axolotl-ai-cloud

axolotl-ai-cloud/axolotl

YAMLファイルで設定できる、大規模言語モデルのファインチューニングとポストトレーニング向けの無料・オープンソースフレームワークです。

GitHub で見る公式サイト
スター
12,592
フォーク
1,637
未解決の Issue
253
最終コミット
8 時間前

これは何？

Axolotlは、大規模言語モデルのファインチューニングとポストトレーニングを行うためのフレームワークです。データセットの前処理から学習、評価、量子化、推論までの全工程に対応し、各段階を1つのYAML設定ファイルで制御できます。

フルファインチューニング、LoRA、QLoRA、GPTQ、QATのほか、DPO、KTO、ORPO、GRPOなどの選好学習や強化学習の手法をサポートしています。Hugging Face Hubのさまざまなモデルファミリーに対応し、ビジョン・言語モデルや音声モデルも学習できます。データセットはローカルディスク、Hugging Face、またはS3、Azure、GCP、OCIのストレージから読み込めます。

性能向上のため、multipacking、Flash Attention、Liger Kernelなどのオプションに加え、FSDP2やDeepSpeedによるマルチGPU学習、TorchrunまたはRayによるマルチノード学習を利用できます。クラウド環境とローカル環境向けに、DockerイメージとPyPIパッケージも提供されています。

主な機能

  • 01前処理、学習、評価、量子化、推論をカバーする単一のYAML設定
  • 02フルファインチューニング、LoRA、QLoRA、GPTQ、QATに対応
  • 03選好チューニング（DPO、KTO、ORPO）とRL（GRPO）の手法
  • 04ビジョン・言語モデルや音声モデルのマルチモーダルファインチューニング
  • 05FSDP2とDeepSpeedによるマルチGPU学習、TorchrunまたはRayによるマルチノード学習
  • 06ローカルストレージ、Hugging Face、主要なクラウドオブジェクトストレージからデータセットを読み込み

ユースケース

  • LoRAを使い、独自の指示データセットやチャットデータセットでオープンウェイトLLMをファインチューニングする
  • 再現可能なYAML設定を使って、モデルの選好最適化やGRPOを実行する
  • クラウドインフラ上で、複数のGPUまたはノードにまたがって学習ジョブをスケールする

トピック

#llm#fine-tuning#lora#qlora#rlhf#deep-learning#pytorch

よくある質問

axolotl とは？
YAMLファイルで設定できる、大規模言語モデルのファインチューニングとポストトレーニング向けの無料・オープンソースフレームワークです。 Axolotlは、大規模言語モデルのファインチューニングとポストトレーニングを行うためのフレームワークです。データセットの前処理から学習、評価、量子化、推論までの全工程に対応し、各段階を1つのYAML設定ファイルで制御できます。
axolotl は無料で使えますか？ライセンスは？
axolotl は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
axolotl は今もメンテナンスされていますか？
活発にメンテナンス中。axolotl の最終コミットは 2026年10月20日 です。
axolotl は何に使えますか？
LoRAを使い、独自の指示データセットやチャットデータセットでオープンウェイトLLMをファインチューニングする 再現可能なYAML設定を使って、モデルの選好最適化やGRPOを実行する クラウドインフラ上で、複数のGPUまたはノードにまたがって学習ジョブをスケールする
axolotl はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/axolotl-ai-cloud/axolotl

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト