GPU上でTransformerモデルを学習・推論するための、メモリ効率に優れた厳密なattentionカーネルFlashAttentionの公式実装。
huggingface/transformers
最先端のテキスト、画像、音声、マルチモーダル機械学習モデルの定義、推論、学習に対応するフレームワーク。
- スター
- 167,893
- フォーク
- 34,917
- 未解決の Issue
- 2,220
- 最終コミット
- 3 時間前
これは何?
Transformersは、テキスト、コンピュータビジョン、音声、動画、マルチモーダルの各タスクにわたって、最先端の機械学習モデルを共通の形式で定義するためのレイヤーを提供します。各モデルは一貫性があり読みやすい形式で一度だけ定義されるため、学習フレームワーク、推論エンジン、関連するモデリングライブラリが同じ定義を利用できます。
このライブラリには、数行のコードでモデルを実行できる高水準のPipeline APIがあり、テキスト生成、音声認識、画像分類、Visual Question Answeringなどのタスクに対応しています。事前学習済みチェックポイントはHugging Face Hubからダウンロードされ、再利用できるようローカルにキャッシュされます。また、PyTorchでの低レベルな学習やカスタマイズに、モデルを直接利用することもできます。
インストールにはPython 3.10以降とPyTorch 2.6以降が必要です。このプロジェクトは汎用的なニューラルネットワーク構成要素のツールボックスではありません。汎用的な学習ループには、READMEで代わりにAccelerateを案内しています。
主な機能
- 01テキスト、音声、画像、マルチモーダルの各タスクで推論を行うPipeline API。
- 02Hugging Face Hub上にある100万件を超える事前学習済みチェックポイントを利用可能。
- 03PyTorchベースの学習フレームワークや推論エンジンで利用できる、一貫性のあるモデル定義。
- 04transformers serveとtransformers chatを使い、コマンドラインからモデルと直接チャット。
ユースケース
- Pythonアプリケーションで事前学習済み言語モデルを使ってテキスト生成やチャットを行う。
- 既成のモデルを使って音声を書き起こしたり、画像を分類したりする。
- 独自のデータセットで事前学習済みPyTorchモデルをファインチューニングする。
- 研究実験で公開済みのモデルアーキテクチャを再現する。
クイックスタート
- 1
venvで仮想環境を作成して有効化する
python -m venv .my-env - 2
pipを使ってPyTorch対応版のTransformersをインストールする
pip install "transformers[torch]" - 3
Pythonコードからテキスト生成パイプラインを実行する(Quickstartの例を参照)
使う前に知っておきたいこと
- Python 3.10以降とPyTorch 2.6以降が必要です。
- LlamaやWhisper-largeなどの大規模モデルの実行には多くのメモリが必要で、GPUの使用が推奨されます。
トピック
よくある質問
- transformers とは?
- 最先端のテキスト、画像、音声、マルチモーダル機械学習モデルの定義、推論、学習に対応するフレームワーク。 Transformersは、テキスト、コンピュータビジョン、音声、動画、マルチモーダルの各タスクにわたって、最先端の機械学習モデルを共通の形式で定義するためのレイヤーを提供します。各モデルは一貫性があり読みやすい形式で一度だけ定義されるため、学習フレームワーク、推論エンジン、関連するモデリングライブラリが同じ定義を利用できます。
- transformers は無料で使えますか?ライセンスは?
- transformers は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- transformers は今もメンテナンスされていますか?
- 活発にメンテナンス中。transformers の最終コミットは 2026年10月20日 です。
- transformers は何に使えますか?
- Pythonアプリケーションで事前学習済み言語モデルを使ってテキスト生成やチャットを行う。 既成のモデルを使って音声を書き起こしたり、画像を分類したりする。 独自のデータセットで事前学習済みPyTorchモデルをファインチューニングする。 研究実験で公開済みのモデルアーキテクチャを再現する。
- transformers のインストール方法は?
- venvで仮想環境を作成して有効化する: python -m venv .my-env pipを使ってPyTorch対応版のTransformersをインストールする: pip install "transformers[torch]" Pythonコードからテキスト生成パイプラインを実行する(Quickstartの例を参照)
- transformers はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/huggingface/transformers
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Hugging Face Hubのリポジトリをダウンロード、アップロード、管理する公式CLI(hf)とPythonクライアント。
ビジョン、音声、NLP、LLMを網羅する419種類の学習済みAIモデルを、共通のPython CLIからailia SDKで実行できます。
小規模なLLaMA2風モデルをゼロから構築し、Transformer、事前学習、ファインチューニング、RAG、エージェントを通じてLLMの原理を学ぶ、中国語のオープンチュートリアル。
PythonとPyTorchで小規模なLLaMA風GPTをゼロから構築・学習する、コメント付き全12章のチュートリアル。
論文・講義・記事923件を収録したMarkdownベースのMLナレッジベースと、NumPyのみで動く独自分類器・回帰器APRL。