Repolode
stochasticai

stochasticai/xTuring

LLaMA、GPT-J、GPT-OSSなどのオープンソースLLMを、自分のデータでローカルまたはプライベートクラウド上でファインチューニング、評価、実行できるPythonライブラリです。

スター
2,679
フォーク
209
未解決の Issue
10
最終コミット
3 日前

これは何?

xTuringは、自分のデータを使ってオープンソースの大規模言語モデルをファインチューニングするためのPythonライブラリです。データ準備から学習、推論までを単一の高レベルAPIで扱えるため、開発者は独自の学習ループを書かずにモデルを適応させられます。

GPT-OSS、LLaMA、LLaMA 2、Qwen3、Mistral、MiniMax M2、GPT-J、GPT-2、DistilGPT-2、Mambaなど、幅広いモデルファミリーに対応しています。メモリと計算リソースの要件を抑えるため、LoRAや、低精度のINT8およびINT4でのモデル読み込みを利用できます。モデルの評価にはperplexityを使用でき、ファインチューニング済みモデルとチャットするためのGradioベースのUIとCLIも用意されています。

ローカル環境またはプライベートVPC内での実行を想定して設計されており、学習データをユーザーのインフラ外へ出す必要はありません。

主な機能

  • 01データ準備、ファインチューニング、生成をまとめて扱う統一API
  • 02メモリと計算コストを抑えるLoRA、INT8、INT4の方式
  • 03因果言語モデル向けのperplexityベースの評価
  • 04self-instructや商用モデルのAPIを使ったデータセット生成
  • 05ファインチューニング済みモデル向けのCLIチャットコマンドとGradio UIプレイグラウンド

ユースケース

  • データを第三者に送らずに、企業の非公開ドキュメントを使ってオープンソースLLMを適応させる
  • Qwen3 0.6Bのような小型モデルをノートPCでファインチューニングし、手早く実験する
  • 同じデータセットでLoRAとINT8などのファインチューニング手法を比較する
  • 追加学習に使う指示データセットをローカルモデルから生成する

クイックスタート

  1. 1

    PyPIからxTuringをインストールする

    pip install xturing
  2. 2

    Qwen3 0.6B LoRAモデルを使った、CPUでも実行しやすい小規模なファインチューニングの例を実行する

使う前に知っておきたいこと

  • GPT-OSSなどの大規模モデルのファインチューニングには、十分なGPUリソースが必要です。
  • xTuringにはtransformers>=4.36.0が必要です。現時点ではtransformers 5.xにアップグレードしないでください。

トピック

よくある質問

xTuring とは?
LLaMA、GPT-J、GPT-OSSなどのオープンソースLLMを、自分のデータでローカルまたはプライベートクラウド上でファインチューニング、評価、実行できるPythonライブラリです。 xTuringは、自分のデータを使ってオープンソースの大規模言語モデルをファインチューニングするためのPythonライブラリです。データ準備から学習、推論までを単一の高レベルAPIで扱えるため、開発者は独自の学習ループを書かずにモデルを適応させられます。
xTuring は無料で使えますか?ライセンスは?
xTuring は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
xTuring は今もメンテナンスされていますか?
活発にメンテナンス中。xTuring の最終コミットは 2026年11月5日 です。
xTuring は何に使えますか?
データを第三者に送らずに、企業の非公開ドキュメントを使ってオープンソースLLMを適応させる Qwen3 0.6Bのような小型モデルをノートPCでファインチューニングし、手早く実験する 同じデータセットでLoRAとINT8などのファインチューニング手法を比較する 追加学習に使う指示データセットをローカルモデルから生成する
xTuring のインストール方法は?
PyPIからxTuringをインストールする: pip install xturing Qwen3 0.6B LoRAモデルを使った、CPUでも実行しやすい小規模なファインチューニングの例を実行する
xTuring はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/stochasticai/xTuring

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

量子化なしで、レイヤー単位に大規模言語モデルを実行し、70Bクラスのモデルを4GB GPU 1枚で推論できるPythonライブラリ。

4.2万+502 今週4314Jupyter NotebookApache-2.0活発にメンテナンス更新 15 時間前