「transformer」に関するオープンソースプロジェクト

テキスト、画像、音声、動画、アクションを生成する全モダリティ対応モデルを実行できる、vLLMを拡張したサービングフレームワーク。

PyTorchでTransformer LLMをゼロから学べる解説とコードベース。事前学習、SFT、報酬モデル、DPO/PPO/GRPO、生成までを網羅。