強化学習のフレームワークと学習環境：2026年のおすすめ

LLMや拡散モデルをローカルで実行・ファインチューニング・エクスポートできるオープンソースのデスクトップアプリ／Web UIと、コードベースの学習ライブラリ。

ゼロコードのCLIとWeb UIで、100種類以上のLLMやVLMを効率よくファインチューニングできる統合フレームワーク。

Microsoft発のAI指向のクオンツ投資プラットフォーム。データ処理、モデル学習、バックテストから注文執行までをカバーします。

Rayは、分散ランタイムとAIライブラリを備え、PythonやAIアプリケーションをノートPCからクラスターまでスケールさせる統合フレームワークです。

verlは、HybridFlow論文を基盤とする、大規模言語モデルの学習後処理向けオープンソース強化学習トレーニングライブラリです。

Unity ML-Agents Toolkitは、Unityのゲームやシミュレーションを強化学習・模倣学習によるAIエージェントの訓練環境として利用できます。

SFT、GRPO、DPO、KTO、報酬モデル学習に対応した、Transformer言語モデルのポストトレーニング用Hugging Faceライブラリ。

Microsoftが提供する軽量なエージェント向けRLフレームワーク。実際のツールやハーネスをそのまま使いながら、既存のAIエージェントを強化学習でトレーニングできます。

自動株式取引やポートフォリオ運用に深層強化学習を適用するための、オープンソースのPythonフレームワークです。

SFT、DPO、GRPOに対応し、600以上の大規模言語モデルと400以上のマルチモーダルモデルのファインチューニング、学習、推論、デプロイを支援するフレームワーク。

接触状態にある多関節剛体を高速かつ高精度にシミュレーションする汎用物理エンジン。ロボティクスや機械学習の研究で広く使われています。

PyTorchで強化学習アルゴリズムを実装したライブラリ。研究や実用で信頼でき、一貫性のあるベースラインを提供します。

単一エージェントの強化学習環境向け標準Python APIと、OpenAI Gymからフォークした参照環境群。

YAMLファイルで設定できる、大規模言語モデルのファインチューニングとポストトレーニング向けの無料・オープンソースフレームワークです。

PyTorchでTransformer LLMをゼロから学べる解説とコードベース。事前学習、SFT、報酬モデル、DPO/PPO/GRPO、生成までを網羅。

既存アプリに組み込めるクライアント・サーバー構成で、GRPOを使い、LLMエージェントを自身の経験から学習させるPython製RLフレームワーク。

RayとvLLMを基盤とする、大規模言語モデルや視覚言語モデルのRLHFおよびエージェント型RL学習フレームワーク。

小型の二足歩行アヒル型ロボットを動かすオープンソースのRustソフトウェア。モーション制御、ゲームパッド、アップデート、カメラ配信に対応。

Terminal-Benchチームが開発した、コンテナ環境でAIエージェントや言語モデルを評価・最適化するためのフレームワーク。

あらゆるエージェントハーネス、サンドボックス、学習バックエンドに対応する、強化学習でLLMエージェントを学習するオープンソースフレームワーク。

LLMの推論モデルやエージェントモデルを学習する大規模な非同期強化学習システム。base_urlの切り替えにより、ブラックボックスエージェントもRLで学習できます。

LLM、RL、RLHF、DPO、GRPOなど、大規模モデルのアルゴリズムを解説する100点以上のオリジナル図解を収録したバイリンガル資料集。

Google CloudのTPUとGPUで大規模モデルの事前学習と事後学習を行うための、JAXベースのオープンソースLLMライブラリ兼リファレンス実装です。

基礎から応用アルゴリズムまでを扱う強化学習の入門書。リポジトリにはPyTorch実装も収録。

LLMプランナー、VLA操作モデル、メモリを使い、シミュレーターや実機でロボットタスクを実行するエンボディドエージェント構築用のオープンフレームワーク。

世界モデルの予測とインタラクションのフィードバックを活用し、コード修復やGUIタスク、実験計画で再帰的な自己改善を促す研究フレームワーク。

4人チーム制のカードゲーム「掼蛋」で対戦する強化学習エージェントと、プレイ可能なWeb対局場。

ASPIREは、モデルの重みを学習する代わりに、コーディングエージェントがシミュレーションや実機の操作タスク向けに再利用可能なロボットスキルを反復的に改善するフレームワークです。

オンライン対戦、切断後の再接続、賢いボットに対応し、カード操作アルゴリズムを使わず毎回完全にランダムに配るGo製のFight the Landlordゲーム。

ルーティング、MAC、物理層、モビリティ、エネルギーモデルを備えた、UAVスウォーム通信ネットワーク向けのPythonシミュレーターです。

CodexエージェントをDockerコンテナ内で実行し、任意のAgent SkillをHarbor形式のRL対応ターミナルタスクに変換します。